Re: Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
考虑 currentOffsets 吧 杨浩 于2021年10月27日周三 下午5:40写道: > 明白这个逻辑,这个就导致consumer > lag值不能反映真实情况,而很难监控系统延迟一个场景:业务状态很大,5分钟保存一次,QPS在1~100之间波动,那么需要配置延迟大于5*60*100来监控系统,这会导致监控非常不准确 > 在 2021-10-27 17:34:13,"Qingsheng Ren" 写道: > >你好! > > > >如果使用的是基于 FLIP-27 实现的 KafkaSource,可以配置 enable.auto.commit = true 和 > auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 > offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交,只能在 > checkpoint 时提交位点。 > > > >-- > >Best Regards, > > > >Qingsheng Ren > >Email: renqs...@gmail.com > >On Oct 27, 2021, 4:59 PM +0800, 杨浩 , wrote: > >> 请问有办法和现有监控兼容么?开启checkpoint时,让消费组的offset实时更新 > >> 在 2021-10-25 21:58:28,"杨浩" 写道: > >> > currentOffsets理论上OK,但是这边云上监控系统中的kafka未消费量使用的是committedOffsets > >> > 在 2021-10-25 10:31:12,"Caizhi Weng" 写道: > >> > > Hi! > >> > > > >> > > 这里的 offset 是 kafka source 的 offset 吗?其实没必要通过 checkpoint 读取 > offset,可以通过 > >> > > metrics 读取,见 [1]。 > >> > > > >> > > [1] > >> > > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors > >> > > > >> > > 杨浩 于2021年10月25日周一 上午10:20写道: > >> > > > >> > > > > 请问下,如果启用checkpoint,因为状态比较大,checkpoint间隔设置比较大,如何让offset提交的比较快,这样方便监控程序进度 >
回复:Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
明白这个逻辑,这个就导致consumer lag值不能反映真实情况,而很难监控系统延迟一个场景:业务状态很大,5分钟保存一次,QPS在1~100之间波动,那么需要配置延迟大于5*60*100来监控系统,这会导致监控非常不准确 在 2021-10-27 17:34:13,"Qingsheng Ren" 写道: >你好! > >如果使用的是基于 FLIP-27 实现的 KafkaSource,可以配置 enable.auto.commit = true 和 >auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 >offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交,只能在 >checkpoint 时提交位点。 > >-- >Best Regards, > >Qingsheng Ren >Email: renqs...@gmail.com >On Oct 27, 2021, 4:59 PM +0800, 杨浩 , wrote: >> 请问有办法和现有监控兼容么?开启checkpoint时,让消费组的offset实时更新 >> 在 2021-10-25 21:58:28,"杨浩" 写道: >> > currentOffsets理论上OK,但是这边云上监控系统中的kafka未消费量使用的是committedOffsets >> > 在 2021-10-25 10:31:12,"Caizhi Weng" 写道: >> > > Hi! >> > > >> > > 这里的 offset 是 kafka source 的 offset 吗?其实没必要通过 checkpoint 读取 offset,可以通过 >> > > metrics 读取,见 [1]。 >> > > >> > > [1] >> > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors >> > > >> > > 杨浩 于2021年10月25日周一 上午10:20写道: >> > > >> > > > 请问下,如果启用checkpoint,因为状态比较大,checkpoint间隔设置比较大,如何让offset提交的比较快,这样方便监控程序进度
Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控
你好! 如果使用的是基于 FLIP-27 实现的 KafkaSource,可以配置 enable.auto.commit = true 和 auto.commit.interval.ms = {commit_interval} 使 KafkaSource 按照指定的时间间隔自动提交 offset。基于 SourceFunction 的 FlinkKafkaConsumer 在 checkpoint 开启时不支持自动提交,只能在 checkpoint 时提交位点。 -- Best Regards, Qingsheng Ren Email: renqs...@gmail.com On Oct 27, 2021, 4:59 PM +0800, 杨浩 , wrote: > 请问有办法和现有监控兼容么?开启checkpoint时,让消费组的offset实时更新 > 在 2021-10-25 21:58:28,"杨浩" 写道: > > currentOffsets理论上OK,但是这边云上监控系统中的kafka未消费量使用的是committedOffsets > > 在 2021-10-25 10:31:12,"Caizhi Weng" 写道: > > > Hi! > > > > > > 这里的 offset 是 kafka source 的 offset 吗?其实没必要通过 checkpoint 读取 offset,可以通过 > > > metrics 读取,见 [1]。 > > > > > > [1] > > > https://ci.apache.org/projects/flink/flink-docs-master/docs/ops/metrics/#kafka-connectors > > > > > > 杨浩 于2021年10月25日周一 上午10:20写道: > > > > > > > 请问下,如果启用checkpoint,因为状态比较大,checkpoint间隔设置比较大,如何让offset提交的比较快,这样方便监控程序进度