回复: 一个source多个sink的同步问题

2020-07-08 文章 Sun.Zhu
窗口的触发逻辑就是这样的,必须watermark达到了窗口结束时间才会触发,可能10-11点的窗口中的数据最大只有10:59呢 | | Sun.Zhu | | 17626017...@163.com | 签名由网易邮箱大师定制 在2020年07月7日 18:44,lgs<9925...@qq.com> 写道: 是1个小时才到来。10:00- 11:00的数据,11:01分到来。 但是现在的问题是这个数据来了,我的第一个sink马上就保存到数据库了, 11:02进数据库。但是第二个sink,因为有tumble window,所以10:00- 11:00的数据,需要到12:01,才会触

Re: 一个source多个sink的同步问题

2020-07-07 文章 lgs
是1个小时才到来。10:00- 11:00的数据,11:01分到来。 但是现在的问题是这个数据来了,我的第一个sink马上就保存到数据库了, 11:02进数据库。但是第二个sink,因为有tumble window,所以10:00- 11:00的数据,需要到12:01,才会触发这个窗口。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 一个source多个sink的同步问题

2020-07-07 文章 Jark Wu
watermark 的计算是跟数据上的 event-time 相关的。你的数据是不是间隔一小时来一波的呢? 比如 10:00 的数据之后,就是 11:00 的数据,但是要1小时后才到来? Best, Jark On Tue, 7 Jul 2020 at 17:20, lgs <9925...@qq.com> wrote: > source是kafka,有一个rowtime定义: > > .field("rowtime", DataTypes.TIMESTAMP(0)) > .rowtime(Rowtime() >

一个source多个sink的同步问题

2020-07-07 文章 lgs
source是kafka,有一个rowtime定义: .field("rowtime", DataTypes.TIMESTAMP(0)) .rowtime(Rowtime() .timestamps_from_field("actionTime") .watermarks_periodic_bounded(6) ) 有两个sink,第一个sink是直接把kafa的数据保存到postgres。 第二个sink是定义一个1小时的tumble wind