窗口的触发逻辑就是这样的,必须watermark达到了窗口结束时间才会触发,可能10-11点的窗口中的数据最大只有10:59呢
| |
Sun.Zhu
|
|
17626017...@163.com
|
签名由网易邮箱大师定制
在2020年07月7日 18:44,lgs<9925...@qq.com> 写道:
是1个小时才到来。10:00- 11:00的数据,11:01分到来。
但是现在的问题是这个数据来了,我的第一个sink马上就保存到数据库了, 11:02进数据库。但是第二个sink,因为有tumble
window,所以10:00- 11:00的数据,需要到12:01,才会触
是1个小时才到来。10:00- 11:00的数据,11:01分到来。
但是现在的问题是这个数据来了,我的第一个sink马上就保存到数据库了, 11:02进数据库。但是第二个sink,因为有tumble
window,所以10:00- 11:00的数据,需要到12:01,才会触发这个窗口。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
watermark 的计算是跟数据上的 event-time 相关的。你的数据是不是间隔一小时来一波的呢?
比如 10:00 的数据之后,就是 11:00 的数据,但是要1小时后才到来?
Best,
Jark
On Tue, 7 Jul 2020 at 17:20, lgs <9925...@qq.com> wrote:
> source是kafka,有一个rowtime定义:
>
> .field("rowtime", DataTypes.TIMESTAMP(0))
> .rowtime(Rowtime()
>
source是kafka,有一个rowtime定义:
.field("rowtime", DataTypes.TIMESTAMP(0))
.rowtime(Rowtime()
.timestamps_from_field("actionTime")
.watermarks_periodic_bounded(6)
)
有两个sink,第一个sink是直接把kafa的数据保存到postgres。
第二个sink是定义一个1小时的tumble wind