Hi 鑫铉:
我尝试解答下;
1. 这是否意味着使用FlinkKafkaConsumer09必须开启checkpoint机制,不然不会定期提交offset至kafka呢?
根据官方文档 [1],checkpoint offset是Flink的功能,auto commit offset是kafka
client的功能;这俩功能在作用上有一定重叠,所以根据配置会有不同的行为表现;
如果Flink没有开启checkpoint,那么offset的保存依赖于kafka client的auto commit offset;
如果Flink开启了checkpoint,那么au
这种情况不建议使用滑动窗口,因为会保存大量的窗口数据(24小时/1分钟);
可以自定义ProcessFunction,参照[1];
[1].
https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window
On 04/09/2019, 8:07 PM, "Yifei Qi" wrote:
>大家好:
>
>
>
>不知道大家在使用flink时遇到过内存消耗过大的问题么?
>
>
>
>我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不