Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-09 文章 bradyMk
弱弱的问一句,相关的配置项是直接在flink-conf.xml文件里配置就可以嘛?



-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/


Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-09 文章 Yun Tang
Hi

Operator state 
本身也并不是线程安全的,只是往常的读写都是持有checkpoint锁的task主线程或者checkpoint异步线程,所以才能做到数据安全,SourceFunction文档里面也强调需要在获得checkpointLock的前提下更新state。

至于如何开启Flink中的RocksDB的native metrics,之前给你的文档链接里面有描述,相关的配置项设为true即可。

祝好
唐云

From: bradyMk 
Sent: Thursday, December 10, 2020 11:44
To: user-zh@flink.apache.org 
Subject: Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

谢谢大佬解答~最近一直在看相关的知识,我还有两个问题在网上没有找到解答,想咨询一下:

1、如果我不用keyed State,而改用Operator State,Operator
State是所有线程操作一个state么?如果这样,那Operator State是线程安全的么?

2、您之前说的配置 RocksDB 的native
metrics,我在官网看到这些指标都是禁用的,那该如何开启呢?我在代码里貌似没有找到相关方法开启各类RocksDB 的native metrics;




-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/


Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-09 文章 bradyMk
谢谢大佬解答~最近一直在看相关的知识,我还有两个问题在网上没有找到解答,想咨询一下:

1、如果我不用keyed State,而改用Operator State,Operator
State是所有线程操作一个state么?如果这样,那Operator State是线程安全的么?

2、您之前说的配置 RocksDB 的native
metrics,我在官网看到这些指标都是禁用的,那该如何开启呢?我在代码里貌似没有找到相关方法开启各类RocksDB 的native metrics;




-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-09 文章 Yun Tang
State本身不是线程安全的 
[1],但是目前对于state的更新都是在task主线程内,而task主线程是线程安全的。除非通过一些特别的方式,例如异步的metrics线程用户逻辑下访问state导致的state写更新副作用,一般是不会出现写错的问题。

[1] https://issues.apache.org/jira/browse/FLINK-13072

祝好
唐云

From: bradyMk 
Sent: Tuesday, December 8, 2020 17:59
To: user-zh@flink.apache.org 
Subject: Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

好的,谢谢大佬解答~



-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/


Re: 回复:flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-08 文章 bradyMk
好的,谢谢大佬解答~



-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/