Re: 回复: 回复: 回复: Flink双流Join问题

2020-04-04 Thread Djeng Lee
给kafka吐数据时每条记录之间休眠1秒试试. 文档位置 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/joining.html AssignerWithPeriodicWatermarks assigns timestamps and generates

Re: 回复: 回复: Flink双流Join问题

2020-04-04 Thread Djeng Lee
刚刚我说的不严谨 Start = 100055000 - (100055000 - 0 + 3000) % 3000 = 100053000 End = 100053000 + 3000 //源码位置,所以窗口开端并不是你传入首条记录的作为开端。窗口划分是从0时间戳切过来的。 文档说明: https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html 相关代码 public static long

Re: 回复: Flink双流Join问题

2020-04-04 Thread Djeng Lee
public static long getWindowStartWithOffset(long timestamp, long offset, long windowSize) { return timestamp - (timestamp - offset + windowSize) % windowSize; } 在 2020/4/4 下午6:23,“忝忝向仧”<153488...@qq.com> 写入: 对,我只是回复把前面那串省略了,没写.

Re: 回复: Flink双流Join问题

2020-04-04 Thread Djeng Lee
55000的窗口分配,是对windowSize 求模然后拿到start 和 end。 不是从你首条记录开始算。 在 2020/4/4 下午6:23,“忝忝向仧”<153488...@qq.com> 写入: 对,我只是回复把前面那串省略了,没写. [100053000,100056000),为什么是100053000开始? 我第一条输入的是 1,tom1,100055000 --原始邮件-- 发件人:"libenchao"

Re: Flink双流Join问题

2020-04-04 Thread Djeng Lee
https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/event_timestamps_watermarks.html ```Both timestamps and watermarks are specified as milliseconds since the Java epoch of 1970-01-01T00:00:00Z.``` 看一下这个, 从0 timestamp开始切分 在 2020/4/4 下午6:20,“Benchao Li” 写入:

Re: Flink双流Join问题

2020-04-04 Thread Djeng Lee
56000后不是下发新的watermark了嘛 在 2020/4/4 下午5:57,“忝忝向仧”<153488...@qq.com> 写入: 各位好:Flink双流Join遇到一个问题,能否解释下,谢谢. ds1和ds2分别读取kafka两个流数据,使用event time和watermark特性,3s的一个翻滚窗口,定义如下: 最后,join输出的时候,为什么触发窗口的数据第二条就触发了?

Re: 回复: 1585972779129_EWCE6K_[]R%C3V)5C{NJE)K

2020-04-04 Thread Djeng Lee
依旧看不到 发件人: 忝忝向�� <153488...@qq.com> 答复: "user-zh@flink.apache.org" 日期: 2020年4月4日 星期六 下午5:45 收件人: libenchao 主题: 回复: 1585972779129_EWCE6K_[]R%C3V)5C{NJE)K 还没有么? 我这里邮件是附上附件了的 [cid:C747E283@6D082D3C.0F57885E.jpg] 那我图片该怎么发送? -- 原始邮件 -- 发件人: "libenchao"; 发送时间:

Re: flink存在推的模式吗?

2020-04-03 Thread Djeng Lee
集群模式下server ip不能直接拿,比如在哪个taskmanager上执行。 如果实在想实现的话可以自己实现个SourceFunction. 在 2020/3/19 下午8:23,“512348363”<512348...@qq.com> 写入: 例如这个对应的 DataStream

Re: 回复: 回复: 回复: 回复:如何用SQL表达对设备离在线监控

2019-12-05 Thread Djeng Lee
发件人: 1193216154 <1193216...@qq.com> 发送时间: Thursday, December 5, 2019 2:43 PM 收件人: user-zh 主题: 回复: 回复: 回复:如何用SQL表达对设备离在线监控 可以考虑用flink cep,应该可以解决你的问题。 --原始邮件------ 发件人:"Djeng Lee"