这面还想多请教一下:
我程序中每来一条数据都会去读MapState然后覆盖写入新的时间戳,刚刚发现某一条数据读出了两条一样的时间戳,我推断是第一个线程读出来后还没等覆盖掉,第二个线程又读了一遍,导致出现两条一样的时间戳;
所以想请问flink中MapState是线程安全的吗?
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的~谢谢大佬解答~
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
#rocksdb-native-metrics
祝好
唐云
From: bradyMk
Sent: Monday, December 7, 2020 17:05
To: user-zh@flink.apache.org
Subject: Re: 答复: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存
Hi~
可是我这边write buffer以及block cache等参数设置的都不大,都远远小于我分给tm的内存,可为什么还会报超出内存的错误呢?
-
Best
Hi~
可是我这边write buffer以及block cache等参数设置的都不大,都远远小于我分给tm的内存,可为什么还会报超出内存的错误呢?
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存
hi~谢谢解答;
但我的状态用的是RocksDB,实质上不应该是存的磁盘么?为什么会一直占用tm的内存呢?
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi~谢谢解答;
但我的状态用的是RocksDB,实质上不应该是存的磁盘么?为什么会一直占用tm的内存呢?
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
中间状态用完了最好是clear掉。不然一直会占用tm的内存的呢
-邮件原件-
发件人: bradyMk [mailto:zhbm...@126.com]
发送时间: 2020年12月5日 星期六 17:29
收件人: user-zh@flink.apache.org
主题: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存
大家好~
最近刚刚尝试使用flink 1.9.1 的RocksDB做增量checkpoints;
在程序种设置:
val backend = new RocksDBStateBackend("hd