Re:关于并行下watermark不生成

2020-10-28 文章 hailongwang 
Hi BenChen,
1. 可以保证需要 watermark 算子之前的算子和前面的算子不是 Forward 。
2. 如果是自己实现的 Connector 的话，可能定时检测调用 SourceFunction#markAsTemporarilyIdle 来标记为 
idle，我看目前 Kafka 是刚启动时候进行检测。
Best，
Hailong Wang
在 2020-10-28 17:54:22，"BenChen"  写道：
>Hi 
>all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>haibin...@163.com
>|
>签名由网易邮箱大师定制
>

Re: 关于并行下watermark不生成

2020-10-28 文章 zhisheng 
hi，Benchen

可以考虑在 source 算子后面加一个 rebalance()

Best!
zhisheng

Shubin Ruan  于2020年10月28日周三 下午7:36写道：

> 可以考虑在数据源处进行处理:
>
>
> 设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
> 在 2020-10-28 18:54:22，"BenChen"  写道：
> >Hi
> all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
> >
> >
> >| |
> >BenChen
> >|
> >|
> >haibin...@163.com
> >|
> >签名由网易邮箱大师定制
> >
>

Re:关于并行下watermark不生成

2020-10-28 文章 Shubin Ruan 
可以考虑在数据源处进行处理:


设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。
在 2020-10-28 18:54:22，"BenChen"  写道：
>Hi 
>all，在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题，在1.10里面Flink有什么机制解决这个问题吗？谢谢
>
>
>| |
>BenChen
>|
>|
>haibin...@163.com
>|
>签名由网易邮箱大师定制
>