Re: Task Container 被Kill, Managed memory使用情况查看

2021-06-14 文章 LakeShen
Hi Jason, 可以把 rocksdb statebackend 相关监控指标开启,然后结合指标看看。 具体参考: https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/config.html#rocksdb-native-metrics . Best, LakeShen Jason Lee 于2021年6月11日周五 上午11:19写道: > > > 各位社区的伙伴大家好 > > > 目前我们在使用Flink SQL 开发任务过程中遇到一个问题,有比较大状态的任务在运行一段时间后Task > Cont

Task Container 被Kill, Managed memory使用情况查看

2021-06-10 文章 Jason Lee
各位社区的伙伴大家好 目前我们在使用Flink SQL 开发任务过程中遇到一个问题,有比较大状态的任务在运行一段时间后Task Container会由于使用申请内存过多被Yarn集群Kill掉。 针对这个问题我们任务可能是在Checkpoint时候状态过大引起的,因此我们调整了State ttl,也是增量Checkpoint,之后还是会出现类似情况,我们只能通过增加并发和内存来保证任务运行,但是这回造成了很大的资源浪费,因为平时查看任务的堆内存使用并不多,所以我们在考虑是不是Managed memory不足导致的,因为Managed memory 负责RocksDB, 我们