Re: Flink Kafka Connector相关问题

2019-08-22 Thread Victor Wong
Hi 鑫铉: 我尝试解答下; 1. 这是否意味着使用FlinkKafkaConsumer09必须开启checkpoint机制,不然不会定期提交offset至kafka呢? 根据官方文档 [1],checkpoint offset是Flink的功能,auto commit offset是kafka client的功能;这俩功能在作用上有一定重叠,所以根据配置会有不同的行为表现; 如果Flink没有开启checkpoint,那么offset的保存依赖于kafka client的auto commit offset; 如果Flink开启了checkpoint,那么au

Re: 如何优化flink内存?

2019-09-04 Thread Victor Wong
这种情况不建议使用滑动窗口,因为会保存大量的窗口数据(24小时/1分钟); 可以自定义ProcessFunction,参照[1]; [1]. https://stackoverflow.com/questions/51977741/flink-performance-issue-with-sliding-time-window On 04/09/2019, 8:07 PM, "Yifei Qi" wrote: >大家好: > > > >不知道大家在使用flink时遇到过内存消耗过大的问题么? > > > >我们最近在用flink算一些实时的统计数据, 但是内存消耗很大, 不