目前消费kafka会有lag的情况发生,因此想基于flink metric进行上报监控kakfa的消费延时情况
主要是两种情况:
1、当前group消费的offset和对应topic最大offset之间的差值,也就是积压的数据量
2、当前消费的最新记录的timestamp和系统时间之间的差值,也就是消费的时间延时

kafka lag的监控对实时任务的稳定运行有着非常重要的作用,
网上也检索到了一些基于源码修改的实现,但修改源码的话也不利于后面flink版本的升级,还是希望官方可以考虑支持一下



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复