Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-30 文章 JasonLee 
hi 

watermark 是要根据数据里面的时间戳生成的 所有分区都没有数据的情况下 为什么还要 watermark 推进呢?



-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-28 文章 赵一旦 
所有分区无数据，为什么还期望watermark推进呢？目的是啥。貌似没啥需要计算的呀。

LakeShen  于2021年1月28日周四 下午7:42写道：

> 如果是窗口类聚合，可以尝试一下自定义窗口 Trigger
>
> Best,
> LakeShen
>
> 林影  于2021年1月28日周四 下午5:46写道：
>
> > Hi, Jessica.J.Wang
> > 开源flink看起来没这个功能哈，文档翻了一遍没找到
> >
> > Jessica.J.Wang  于2021年1月28日周四 下午5:25写道：
> >
> > > 你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit
> > >
> > >
> >
> https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa
> > >
> > >
> > >
> > > --
> > > Sent from: http://apache-flink.147419.n8.nabble.com/
> > >
> >
>

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-28 文章 LakeShen 
如果是窗口类聚合，可以尝试一下自定义窗口 Trigger

Best,
LakeShen

林影  于2021年1月28日周四 下午5:46写道：

> Hi, Jessica.J.Wang
> 开源flink看起来没这个功能哈，文档翻了一遍没找到
>
> Jessica.J.Wang  于2021年1月28日周四 下午5:25写道：
>
> > 你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit
> >
> >
> https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa
> >
> >
> >
> > --
> > Sent from: http://apache-flink.147419.n8.nabble.com/
> >
>

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-28 文章 林影 
Hi, Jessica.J.Wang
开源flink看起来没这个功能哈，文档翻了一遍没找到

Jessica.J.Wang  于2021年1月28日周四 下午5:25写道：

> 你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit
>
> https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-28 文章 Jessica.J.Wang 
你使用的是什么窗口呢，是 Tumble或者Hop吗，如果没数据 但是想提前输出结果可以用 emit
https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-28 文章 林影 
Hi，刘小红：
这个我查阅过，实验过，通过idle source 是无法解决的。
可以查看这个链接：http://apache-flink.147419.n8.nabble.com/Flink-SQL-td4535.html

在我的这个场景里面，上游已经配置了idle source，上游如果突然没有数据了，下游的flink 窗口还是无法关闭输出结果。
这个说明idle source 无法解决这个问题

刘小红 <18500348...@163.com> 于2021年1月28日周四 下午3:01写道：

> 可以调用WatermarkStrategy.withIdleness(Duration idleTimeout)
> 指定空闲超时时间，这样不会影响水印的进度，进而影响下游算子操作
>
>
> | |
> 刘小红
> |
> |
> 18500348...@163.com
> |
> 签名由网易邮箱大师定制
> 在2021年1月28日 14:42，wpp<1215303...@qq.com> 写道：
> 可以按照proceeTime来处理吧
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-27 文章 林影 
实际生产环境下，我们这边业务要求用event time

wpp <1215303...@qq.com> 于2021年1月28日周四 下午2:54写道：

> 可以按照proceeTime来处理吧
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>

回复： kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-27 文章 刘小红 
可以调用WatermarkStrategy.withIdleness(Duration idleTimeout) 
指定空闲超时时间，这样不会影响水印的进度，进而影响下游算子操作


| |
刘小红
|
|
18500348...@163.com
|
签名由网易邮箱大师定制
在2021年1月28日 14:42，wpp<1215303...@qq.com> 写道：
可以按照proceeTime来处理吧



--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-27 文章 wpp 
可以按照proceeTime来处理吧



--
Sent from: http://apache-flink.147419.n8.nabble.com/

kafka 所有分区无数据的情况下，导致watermark无法前进

2021-01-27 文章 林影 
Hi Everyone, 有个关于watermark问题请教，
watermark是根据event的event time往前推进的，如果上游无数据，导致watermark没有前进，这种情况下应该如何处理呢？