自定义RocketMqSource出现位点重置现象

2021-04-21 Thread zelin jin
大家好，公司内部写的自定义RocektMqSource，会偶现位点前移的现象，偶现时间不定，目前找不出原因。Flink 版本 1.4.2，目前是不会从checkPoint恢复，但是会做checkPoint Source代码如下: public class RocketMQSource extends RichParallelSourceFunction implements CheckpointedFunction,ResultTypeQueryable { public static final int DELAY_MSG_NOT_FOUND =

Re: 关于端到端的延迟监控

2021-01-28 Thread zelin jin
每一条records处理过程中透传开始时间，在sink算子通过metrics上报opentsdb、Prometheus 等时间序列数据库，最后通过grafana等可视化工具展示。 wpp <1215303...@qq.com> 于2021年1月28日周四 下午2:53写道： > 这个延迟，只是给一个参考意义吧，

Re: Flink SQL 可以使用异步IO特性吗

2021-01-12 Thread zelin jin
hello,kenyore. 我大致了解了你的意思，你可以通过继承AsyncTableFunction的方式实现数据库异步IO。 公共抽象类AsyncTableFunction 扩展了UserDefinedFunction AsyncTableFunction

Re: Flink SQL 可以使用异步IO特性吗

2021-01-12 Thread zelin jin
hello,kenyore. 我大致了解了你的意思，你可以通过继承AsyncTableFunction的方式实现数据库异步IO。 公共抽象类AsyncTableFunction 扩展了UserDefinedFunction AsyncTableFunction