Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
这面还想多请教一下: 我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳,刚刚发现某一条数据读出了两条一样的时间戳,我推断是第一个线程读出来后还没等覆盖掉,第二个线程又读了一遍,导致出现两条一样的时间戳; 所以想请问flink中MapState是线程安全的吗? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
好的~谢谢大佬解答~ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 Yun Tang
#rocksdb-native-metrics 祝好 唐云 From: bradyMk Sent: Monday, December 7, 2020 17:05 To: user-zh@flink.apache.org Subject: Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存 Hi~ 可是我这边write buffer以及block cache等参数设置的都不大,都远远小于我分给tm的内存,可为什么还会报超出内存的错误呢? - Best

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 bradyMk
Hi~ 可是我这边write buffer以及block cache等参数设置的都不大,都远远小于我分给tm的内存,可为什么还会报超出内存的错误呢? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-07 文章 Yun Tang
RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存 hi~谢谢解答; 但我的状态用的是RocksDB,实质上不应该是存的磁盘么?为什么会一直占用tm的内存呢? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-06 文章 bradyMk
hi~谢谢解答; 但我的状态用的是RocksDB,实质上不应该是存的磁盘么?为什么会一直占用tm的内存呢? - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存

2020-12-06 文章 范超
中间状态用完了最好是clear掉。不然一直会占用tm的内存的呢 -邮件原件- 发件人: bradyMk [mailto:zhbm...@126.com] 发送时间: 2020年12月5日 星期六 17:29 收件人: user-zh@flink.apache.org 主题: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存 大家好~ 最近刚刚尝试使用flink 1.9.1 的RocksDB做增量checkpoints; 在程序种设置: val backend = new RocksDBStateBackend("hd