使用FsStateBackend导致的oom

2019-11-28 Thread 李茂伟
hi all ~     我在使用FsStateBackend,这种方式checkpoint时,导致oom,查看堆内存中有大量的CopyOnWriteStateTable$StateTableEntry对象没有被清理。请问在使用FsStateBackend这种方式checkpoint后,内存中的state会被清理吗?

Re: 使用FsStateBackend导致的oom

2019-11-28 Thread Congxian Qiu
Hi Checkpooint 不会导致 State 被清理。Checkpoint 只是将 State 备份到一个远程存储,供后续恢复使用。如果有大量 CopyOnWriteStateTable$StateTableEntry 的话,首先需要确认,你作业真的会有大量的 state 存在吗?另外 Checkpoint 相关的配置是什么,OOM 前是否有 checkpoint 失败这类的 Best, Congxian 李茂伟 于2019年11月28日周四 下午9:02写道: > hi all ~ >     > 我在使用FsStateBackend,这种方式checkpoint时,导致