设计上是支持的. 建议贴上代码, 这样大家比较好判断问题所在.
On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote:
> 各位好！
> 目前有一flink作业，source与sink均为kafka。
> 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。
> 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。
>
> 想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪
指定了，依然无法保证。
> 在 2022年8月26日，下午5:28，gulugulucxg 写道：
>
> flinkKafkaProducer指定EXACTLY_ONCE语义了吗
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-08-26 16:50:33，"杨扬" 写道：
>> kafka-2.4.1
>> flink-1.14.2
>>
>>
>>
>>
>>> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道：
>>>
>>> flink会保证自身的exactly
flinkKafkaProducer指定EXACTLY_ONCE语义了吗
在 2022-08-26 16:50:33，"杨扬" 写道：
>kafka-2.4.1
>flink-1.14.2
>
>
>
>
>> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道：
>>
>> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的；
>> 你用的kafka是哪个版本？
>>
>> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wro
kafka-2.4.1
flink-1.14.2
> 在 2022年8月26日，下午4:42，Hangxiang Yu 写道：
>
> flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的；
> 你用的kafka是哪个版本？
>
> On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote:
>
>> 各位好！
>>目前有一flink作业，source与sink均为kafka。
>>在换版时（未修改任何代码）基于官网文档命令，创建savepoi
flink会保证自身的exactly once语义，端到端的exactly once的语义是需要source和sink保证幂等的；
你用的kafka是哪个版本？
On Fri, Aug 26, 2022 at 4:08 PM 杨扬 wrote:
> 各位好！
> 目前有一flink作业，source与sink均为kafka。
> 在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。
> 现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。
>
>
各位好！
目前有一flink作业，source与sink均为kafka。
在换版时（未修改任何代码）基于官网文档命令，创建savepoint并停止作业；而后基于之前创建的savepoint启动作业。
现在发现如此操作无法实现启停前后数据无缝对接，会出现一定的数据重复。
想请教这个问题是savepoint设计时本身就无法保证启停前后端到端一致性，还是我们哪里操作不当呢？
