我的测试结果时，把原先的丢弃掉，完全采用最新的逻辑。
原始邮件
发件人: lec ssmi
收件人: flink-user-cn
发送时间: 2020年4月17日(周五) 14:43
主题: Re: 为消息分配时间戳但不想重新分配水印
watermark的重新生成，是将新的watermark也加入到watermark队列，然后选出一个最值，还是将原先的watermark直接丢弃掉，改用新的？
taowang 于2020年4月17日周五 上午10:46写道： >
是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂
watermark的重新生成，是将新的watermark也加入到watermark队列，然后选出一个最值，还是将原先的watermark直接丢弃掉，改用新的？
taowang 于2020年4月17日周五 上午10:46写道：
> 是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂时还没有发现。
>
>
> 原始邮件
> 发件人: lec ssmi
> 收件人: flink-user-cn
> 发送时间: 2020年4月17日(周五) 09:25
> 主题: Re: 为消息分配
是的，是生效了的。没见到别人这样用过，在我的场景里这个操作是实现了我需要的逻辑，但会不会引起其他问题，我暂时还没有发现。
原始邮件
发件人: lec ssmi
收件人: flink-user-cn
发送时间: 2020年4月17日(周五) 09:25
主题: Re: 为消息分配时间戳但不想重新分配水印
请问，你对DataStream重新声明时间列和水印，生效吗？ taowang 于2020年4月16日周四
下午10:49写道： > 嗯嗯，还是十分感谢。 >
那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添
请问，你对DataStream重新声明时间列和水印，生效吗？
taowang 于2020年4月16日周四 下午10:49写道：
> 嗯嗯，还是十分感谢。
> 那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。
>
>
> 打扰各位了，祝好！～
>
>
> 原始邮件
> 发件人: tison
> 收件人: user-zh
> 发送时间: 2020年4月16日(周四) 22:39
> 主题: Re: 为消息分配时间戳但不想重新分配水印
>
>
> 正在载入邮件原文…
嗯嗯，还是十分感谢。
那我暂时就把这个问题先搁置了，至于issue和我们自己的实现，我自己有时间的时候就去提一个，并添加自己的实现。
打扰各位了，祝好！～
原始邮件
发件人: tison
收件人: user-zh
发送时间: 2020年4月16日(周四) 22:39
主题: Re: 为消息分配时间戳但不想重新分配水印
正在载入邮件原文…
link ExecutionConfig#getAutoWatermarkInterval()}.
>> *
>> * @see org.apache.flink.streaming.api.watermark.Watermark
>> * @see ExecutionConfig#getAutoWatermarkInterval()
>> *
>> * @return {@code Null}, if no watermark should be emitted, or the next
>> watermark
Null}, if no watermark should be emitted, or the next
> watermark to emit.
> */
> @Nullable
> Watermark getCurrentWatermark();
> }
> ```
>
>
> 原始邮件
> 发件人: tison
> 收件人: user-zh
> 发送时间: 2020年4月16日(周四) 20:33
> 主题: Re: 为消息分配时间戳但不想重新分配水印
>
>
> 在 getCurrentWater
#getAutoWatermarkInterval()
*
* @return {@code Null}, if no watermark should be emitted, or the next
watermark to emit.
*/
@Nullable
Watermark getCurrentWatermark();
}
```
原始邮件
发件人: tison
收件人: user-zh
发送时间: 2020年4月16日(周四) 20:33
主题: Re: 为消息分配时间戳但不想重新分配水印
在 getCurrentWatermark 里返回 null 就行了，会 forward 此前的
在 getCurrentWatermark 里返回 null 就行了，会 forward 此前的 watermark
的。另外语义上使用 AssignerWithPunctuatedWatermarks 会更合适一点。
Best,
tison.
taowang 于2020年4月16日周四 下午5:13写道：
> Hello,大家好：
> 在flink
> stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
> 为了实现这个功能，我想有两种方法：
> 1.
Hello,大家好：
在flink stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
为了实现这个功能，我想有两种方法：
1. 在算子输出后面重新为消息分配水印：看到flink
stream暂时只有`assignTimestampsAndWatermarks`方法，这里面要实现两个接口：`getCurrentWatermark`和`extractTimestamp`。我只想实现`extractTimestamp`而不想管水印相关的`getCurrentWatermark
10 matches
Mail list logo
