HI Jiaotong:
我的建议如下:
1. 本地存储使用高吞吐的SSD 
2. taskmanager.memory.managed.size 增加并且确保rocksdb memtable内存增加,减少rocksdb 刷磁盘的量
3. 如果有物化sink算子,关闭物化sink算子,减小state。
--------------------------------------------------------------------------------

----The following is the content of the forwarded email----
From:"jiaot...@mail.jj.cn" 
To:user-zh 
Date:2024-01-05 09:41:01
Subject:CUMULATE 窗口状态过大导致CK超时

Hi All,
 我使用了CUMULATE( STEP => INTERVAL '1' MINUTES, SIZE => INTERVAL '1' DAYS) 
累积窗口,导致太多数据保存在状态中,即使开启了增量式RocksDB,但是当程序运行一段时间后,CK依然超时从而导致任务失败。因此想咨询对于这种大窗口大状态应该如何优化和使用。非常感谢
注:Flink版本 1.14.0

Reply via email to