hi
watermark 是要根据数据里面的时间戳生成的 所有分区都没有数据的情况下 为什么还要 watermark 推进呢?
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
所有分区无数据,为什么还期望watermark推进呢?目的是啥。貌似没啥需要计算的呀。
LakeShen 于2021年1月28日周四 下午7:42写道:
> 如果是窗口类聚合,可以尝试一下自定义窗口 Trigger
>
> Best,
> LakeShen
>
> 林影 于2021年1月28日周四 下午5:46写道:
>
> > Hi, Jessica.J.Wang
> > 开源flink看起来没这个功能哈,文档翻了一遍没找到
> >
> > Jessica.J.Wang 于2021年1月28日周四 下午5:25写道:
> >
> > > 你使用的是什么窗口呢,是
如果是窗口类聚合,可以尝试一下自定义窗口 Trigger
Best,
LakeShen
林影 于2021年1月28日周四 下午5:46写道:
> Hi, Jessica.J.Wang
> 开源flink看起来没这个功能哈,文档翻了一遍没找到
>
> Jessica.J.Wang 于2021年1月28日周四 下午5:25写道:
>
> > 你使用的是什么窗口呢,是 Tumble或者Hop吗,如果没数据 但是想提前输出结果可以用 emit
> >
> >
>
你使用的是什么窗口呢,是 Tumble或者Hop吗,如果没数据 但是想提前输出结果可以用 emit
https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi,刘小红:
这个我查阅过,实验过,通过idle source 是无法解决的。
可以查看这个链接:http://apache-flink.147419.n8.nabble.com/Flink-SQL-td4535.html
在我的这个场景里面,上游已经配置了idle source,上游如果突然没有数据了,下游的flink 窗口还是无法关闭输出结果。
这个说明idle source 无法解决这个问题
刘小红 <18500348...@163.com> 于2021年1月28日周四 下午3:01写道:
>
实际生产环境下,我们这边业务要求用event time
wpp <1215303...@qq.com> 于2021年1月28日周四 下午2:54写道:
> 可以按照proceeTime来处理吧
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
可以调用WatermarkStrategy.withIdleness(Duration idleTimeout)
指定空闲超时时间,这样不会影响水印的进度,进而影响下游算子操作
| |
刘小红
|
|
18500348...@163.com
|
签名由网易邮箱大师定制
在2021年1月28日 14:42,wpp<1215303...@qq.com> 写道:
可以按照proceeTime来处理吧
--
Sent from: http://apache-flink.147419.n8.nabble.com/
可以按照proceeTime来处理吧
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi Everyone, 有个关于watermark问题请教,
watermark是根据event的event time往前推进的,如果上游无数据,导致watermark没有前进,这种情况下应该如何处理呢?