退订

2022-04-08 Thread swessia



Re:Re: rocksdb backend设置后没有启用

2022-02-27 Thread swessia
找到原因了,代码在提交job时读取了本地老的配置文件,使得state backend配置覆盖了集群配置

感谢大佬








在 2022-02-25 17:09:09,"胡伟华"  写道:
>Hi, swessia
>
>flink-conf 中的 state.backend 是集群默认配置,你可以检查下 Job 是否指定了backend。
>具体方式可以参考官方文档: 
>https://nightlies.apache.org/flink/flink-docs-master/docs/ops/state/state_backends/#configuring-a-state-backend
> 
><https://nightlies.apache.org/flink/flink-docs-master/docs/ops/state/state_backends/#configuring-a-state-backend>
>
>可以在 JobManager 日志中检索关键字:"Using application-defined state backend” 来确认 job 
>真正使用的 StateBackend
>
>
>> 2022年2月23日 上午11:36,swessia  写道:
>> 
>> flink版本:1.13.5
>> 
>> 
>> 
>> 
>> 
>> 
>> flink-conf.yml中的rocksdb配置:
>> taskmanager.memory.process.size: 2048m
>> taskmanager.memory.managed.fraction: 0.15
>> taskmanager.memory.network.fraction: 0.1
>> 
>> 
>> state.backend: rocksdb
>> state.backend.incremental: true
>> state.checkpoints.dir: 
>> hdfs:///userdata/flink-1-13-5/yarn/high-availability/checkpoints
>> state.savepoints.dir: 
>> hdfs:///userdata/flink-1-13-5/yarn/high-availability/savepoints
>> state.backend.rocksdb.localdir: /userdata/data/flink-1-13-5/tmp
>> state.checkpoints.num-retained: 3
>> 
>> 
>> 使用yarn-session方式部署flink job
>> 发现在job启动后taskmanager 的manage memory一直是0,状态也一直存在taskmanager的内存里,最后内存占满频繁full 
>> gc
>> 
>> 
>> 有大佬知道原因吗?
>


rocksdb backend设置后没有启用

2022-02-22 Thread swessia
flink版本:1.13.5






flink-conf.yml中的rocksdb配置:
taskmanager.memory.process.size: 2048m
taskmanager.memory.managed.fraction: 0.15
taskmanager.memory.network.fraction: 0.1


state.backend: rocksdb
state.backend.incremental: true
state.checkpoints.dir: 
hdfs:///userdata/flink-1-13-5/yarn/high-availability/checkpoints
state.savepoints.dir: 
hdfs:///userdata/flink-1-13-5/yarn/high-availability/savepoints
state.backend.rocksdb.localdir: /userdata/data/flink-1-13-5/tmp
state.checkpoints.num-retained: 3


使用yarn-session方式部署flink job
发现在job启动后taskmanager 的manage memory一直是0,状态也一直存在taskmanager的内存里,最后内存占满频繁full gc


有大佬知道原因吗?