给kafka吐数据时每条记录之间休眠1秒试试.
文档位置
https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html
https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/joining.html
AssignerWithPeriodicWatermarks assigns timestamps and generates
刚刚我说的不严谨
Start = 100055000 - (100055000 - 0 + 3000) % 3000 = 100053000
End = 100053000 + 3000
//源码位置,所以窗口开端并不是你传入首条记录的作为开端。窗口划分是从0时间戳切过来的。
文档说明:
https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html
相关代码
public static long
public static long getWindowStartWithOffset(long timestamp, long offset, long
windowSize) {
return timestamp - (timestamp - offset + windowSize) % windowSize;
}
在 2020/4/4 下午6:23,“忝忝向仧”<153488...@qq.com> 写入:
对,我只是回复把前面那串省略了,没写.
55000的窗口分配,是对windowSize 求模然后拿到start 和 end。 不是从你首条记录开始算。
在 2020/4/4 下午6:23,“忝忝向仧”<153488...@qq.com> 写入:
对,我只是回复把前面那串省略了,没写.
[100053000,100056000),为什么是100053000开始?
我第一条输入的是
1,tom1,100055000
--原始邮件--
发件人:"libenchao"
https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html
```Both timestamps and watermarks are specified as milliseconds since the Java
epoch of 1970-01-01T00:00:00Z.```
看一下这个, 从0 timestamp开始切分
在 2020/4/4 下午6:20,“Benchao Li” 写入:
56000后不是下发新的watermark了嘛
在 2020/4/4 下午5:57,“忝忝向仧”<153488...@qq.com> 写入:
各位好:Flink双流Join遇到一个问题,能否解释下,谢谢.
ds1和ds2分别读取kafka两个流数据,使用event
time和watermark特性,3s的一个翻滚窗口,定义如下:
最后,join输出的时候,为什么触发窗口的数据第二条就触发了?
依旧看不到
发件人: 忝忝向�� <153488...@qq.com>
答复: "user-zh@flink.apache.org"
日期: 2020年4月4日 星期六 下午5:45
收件人: libenchao
主题: 回复: 1585972779129_EWCE6K_[]R%C3V)5C{NJE)K
还没有么?
我这里邮件是附上附件了的
[cid:C747E283@6D082D3C.0F57885E.jpg]
那我图片该怎么发送?
-- 原始邮件 --
发件人: "libenchao";
发送时间:
集群模式下server ip不能直接拿,比如在哪个taskmanager上执行。 如果实在想实现的话可以自己实现个SourceFunction.
在 2020/3/19 下午8:23,“512348363”<512348...@qq.com> 写入:
例如这个对应的
DataStream
发件人: 1193216154 <1193216...@qq.com>
发送时间: Thursday, December 5, 2019 2:43 PM
收件人: user-zh
主题: 回复: 回复: 回复:如何用SQL表达对设备离在线监控
可以考虑用flink cep,应该可以解决你的问题。
--原始邮件------
发件人:"Djeng Lee"