flinkKafkaProducer指定EXACTLY_ONCE语义了吗
在 2022-08-26 16:50:33,"杨扬" <yangya...@cupdata.com> 写道: >kafka-2.4.1 >flink-1.14.2 > > > > >> 在 2022年8月26日,下午4:42,Hangxiang Yu <master...@gmail.com> 写道: >> >> flink会保证自身的exactly once语义,端到端的exactly once的语义是需要source和sink保证幂等的; >> 你用的kafka是哪个版本? >> >> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 <yangya...@cupdata.com> wrote: >> >>> 各位好! >>> 目前有一flink作业,source与sink均为kafka。 >>> 在换版时(未修改任何代码)基于官网文档命令,创建savepoint并停止作业;而后基于之前创建的savepoint启动作业。 >>> 现在发现如此操作无法实现启停前后数据无缝对接,会出现一定的数据重复。 >>> >>> 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性,还是我们哪里操作不当呢? >>> >>> >>> >>> >>> >>> >>> >> >> -- >> Best, >> Hangxiang. >> >> ======================================================= >> 此邮件已由 Deep Discovery Email Inspector 进行了分析。 >