你的state是用rocksdb存储的吗?
| | 熊云昆 | | 邮箱:xiongyun...@163.com | 签名由 网易邮箱大师 定制 On 10/13/2020 18:20, 宁吉浩 wrote: hi,all 最近在使用flink遇到了问题,问题描述如下: checkpoint失败,jm报tm心跳丢失,然后重新开启tm,不一会yarn上就先后开启了多个tm。 数据量并不大,给的内存也足够,tm的内存都被沾满了,不管给多少运行到一定时间就会满,就会出现上述情况。 正好跑了很多程序,有带windows 也有不带的,在这里发现了端倪,带windows的程序checkpoint的文件非常之大,给我的感觉是把窗口内的数据都加入到状态了。 个人推测是state把窗口接收到的元素都落盘了。 windows的半小时一次,滚动,非滑动。 checkpoint是1分钟一次。 有没有人遇到过这种情况? ps: 最重要的问题是yarn又创建了tm,有人可以分享一下这块吗? 感觉这是个定时炸弹,tm仍在运行,应该是假死状态,然后又在yarn上申请容器创建tm,感觉这样下去集群都会崩溃