Re: RocksDB增量模式checkpoint大小持续增长的问题

2024-01-23 文章 yuanfeng hu
> 2024年1月18日 14:59,fufu 写道: > > 看hdfs上shard文件比chk-xxx要大很多。 > > > > 在 2024-01-18 14:49:14,"fufu" 写道: > > 是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink > UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~ > > 在 2024-01-18

Re: flink写kafka 事务问题

2023-06-15 文章 yuanfeng hu
消费者要设置事务隔离级别 > 2023年6月15日 16:23,163 写道: > > 据我了解,kafka支持事务,开启checkpoint及exactly-once后仅当checkpoint执行完毕后才能将数据写入kafka中。测试:flink读取kafka的topic > a写入topic b,开启checkpoint及exactly-once,flink未执行完新一次的checkpoint,但topic > b已经可以消费到新数据,这是什么原因?请大家指教!