Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-30 文章 JasonLee
hi watermark 是要根据数据里面的时间戳生成的 所有分区都没有数据的情况下 为什么还要 watermark 推进呢? - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-28 文章 赵一旦
所有分区无数据,为什么还期望watermark推进呢?目的是啥。貌似没啥需要计算的呀。 LakeShen 于2021年1月28日周四 下午7:42写道: > 如果是窗口类聚合,可以尝试一下自定义窗口 Trigger > > Best, > LakeShen > > 林影 于2021年1月28日周四 下午5:46写道: > > > Hi, Jessica.J.Wang > > 开源flink看起来没这个功能哈,文档翻了一遍没找到 > > > > Jessica.J.Wang 于2021年1月28日周四 下午5:25写道: > > > > > 你使用的是什么窗口呢,是

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-28 文章 LakeShen
如果是窗口类聚合,可以尝试一下自定义窗口 Trigger Best, LakeShen 林影 于2021年1月28日周四 下午5:46写道: > Hi, Jessica.J.Wang > 开源flink看起来没这个功能哈,文档翻了一遍没找到 > > Jessica.J.Wang 于2021年1月28日周四 下午5:25写道: > > > 你使用的是什么窗口呢,是 Tumble或者Hop吗,如果没数据 但是想提前输出结果可以用 emit > > > > >

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-28 文章 Jessica.J.Wang
你使用的是什么窗口呢,是 Tumble或者Hop吗,如果没数据 但是想提前输出结果可以用 emit https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-28 文章 林影
Hi,刘小红: 这个我查阅过,实验过,通过idle source 是无法解决的。 可以查看这个链接:http://apache-flink.147419.n8.nabble.com/Flink-SQL-td4535.html 在我的这个场景里面,上游已经配置了idle source,上游如果突然没有数据了,下游的flink 窗口还是无法关闭输出结果。 这个说明idle source 无法解决这个问题 刘小红 <18500348...@163.com> 于2021年1月28日周四 下午3:01写道: >

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-27 文章 林影
实际生产环境下,我们这边业务要求用event time wpp <1215303...@qq.com> 于2021年1月28日周四 下午2:54写道: > 可以按照proceeTime来处理吧 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

回复: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-27 文章 刘小红
可以调用WatermarkStrategy.withIdleness(Duration idleTimeout) 指定空闲超时时间,这样不会影响水印的进度,进而影响下游算子操作 | | 刘小红 | | 18500348...@163.com | 签名由网易邮箱大师定制 在2021年1月28日 14:42,wpp<1215303...@qq.com> 写道: 可以按照proceeTime来处理吧 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-27 文章 wpp
可以按照proceeTime来处理吧 -- Sent from: http://apache-flink.147419.n8.nabble.com/

kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-27 文章 林影
Hi Everyone, 有个关于watermark问题请教, watermark是根据event的event time往前推进的,如果上游无数据,导致watermark没有前进,这种情况下应该如何处理呢?