你的state是用rocksdb存储的吗?

| |
熊云昆
|
|
邮箱:xiongyun...@163.com
|

签名由 网易邮箱大师 定制

On 10/13/2020 18:20, 宁吉浩 wrote:

hi,all
最近在使用flink遇到了问题,问题描述如下:
checkpoint失败,jm报tm心跳丢失,然后重新开启tm,不一会yarn上就先后开启了多个tm。
数据量并不大,给的内存也足够,tm的内存都被沾满了,不管给多少运行到一定时间就会满,就会出现上述情况。
正好跑了很多程序,有带windows 
也有不带的,在这里发现了端倪,带windows的程序checkpoint的文件非常之大,给我的感觉是把窗口内的数据都加入到状态了。
个人推测是state把窗口接收到的元素都落盘了。

windows的半小时一次,滚动,非滑动。
checkpoint是1分钟一次。
有没有人遇到过这种情况?

ps: 最重要的问题是yarn又创建了tm,有人可以分享一下这块吗?
感觉这是个定时炸弹,tm仍在运行,应该是假死状态,然后又在yarn上申请容器创建tm,感觉这样下去集群都会崩溃

Reply via email to