Re: 使用FsStateBackend导致的oom

2019-11-28 文章 Congxian Qiu
Hi Checkpooint 不会导致 State 被清理。Checkpoint 只是将 State 备份到一个远程存储,供后续恢复使用。如果有大量 CopyOnWriteStateTable$StateTableEntry 的话,首先需要确认,你作业真的会有大量的 state 存在吗?另外 Checkpoint 相关的配置是什么,OOM 前是否有 checkpoint 失败这类的 Best, Congxian 李茂伟 于2019年11月28日周四 下午9:02写道: > hi all ~ > >

使用FsStateBackend导致的oom

2019-11-28 文章 李茂伟
hi all ~ 我在使用FsStateBackend,这种方式checkpoint时,导致oom,查看堆内存中有大量的CopyOnWriteStateTable$StateTableEntry对象没有被清理。请问在使用FsStateBackend这种方式checkpoint后,内存中的state会被清理吗?

flink1.9.1 cep 出现反压及内存问题

2019-11-28 文章 宋倚天
Hi all,我在使用flink cep的过程中遇到了如下问题(一个 A FollowedBy B 的 case) Case1. 我构造的数据源中全是事件A,全速发送 该任务在执行数秒后阻塞(task之间不再有数据交换),源端的backpressure=1,一段时间后TM失去心跳响应,任务异常终止,此时TaskManager进程存活,但通过jstat观察内存使用情况后,发现内存被耗尽,且不停的FullGC Case2. 我构造的数据源中交叉发送事件A和事件B,全速发送

Rest api:/jobs/:jobid/stop报405

2019-11-28 文章 Moc
大家好: 我在官方文档中看到了/jobs/:jobid/stop这个接口,文档上说这个接口可以生成savepoint。因此我想使用这个接口停止运行在yarn上的flink作业,但是会报错。 请问是不是这个接口当前还用不了?是否有其他代替的接口可用? 接口地址我尝试过: http://host:8088/proxy/application_1572228642684_1907/v1/jobs/a1f207a50cdebd531824d9a4402162ca/stop 和