额,不用checkpoint 会比较麻烦。 以前自定义sink 的时候,会把消息信息到sink 位置进行提交。 上游source
也得改造,拉取位置也得统一,比如走redis 数据库等等
在 2021-01-15 12:41:25,"air23" <wangfei23_...@163.com> 写道:
>我的意思 是不使用checkpoint。
>使用'scan.startup.mode' = 'group-offsets' 去维护offset
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2021-01-15 11:35:16,"Michael Ran" <greemqq...@163.com> 写道:
>>下游sink还没有完成, offset 不是在checkpoint 里面的吗?<br/>下次启动会从你ck的位置恢复才对。<br/>除非你sink
>>是异步操作,告诉上游你sink 完成了,实际你sink失败了
>>在 2021-01-15 10:29:15,"air23" <wangfei23_...@163.com> 写道:
>>>flink消费kafka 只能使用checkpoint去维护offset吗
>>>
>>>我这边使用'scan.startup.mode' = 'group-offsets'
>>>
>>>如果中间报错了 或者停止任务,但是我下游sink还没有完成,
>>>下次启动直接跳过这个报错的数据,会丢数据,谢谢回复