Flink Stream SQL group by TUMBLE(rowtime,)

大家好，问题求助： 事件时间使用EventTime，默认Checkpoint【没有offset从earliest开始，有则从offset开始】。 assignTimestampsAndWatermarks，1、不使用Watermark，即默认eventtime时间戳；2、使用官方max取最大值；两种情况问题基本相同： 问题描述： 比如，发送40条数据，窗口消费33条。另外7条，需要继续发送新的数据，才会被消费掉，即便重启程序-也要发送新的数据，才会消费上次"未及时"消费的数据，而不是自动从上一次的offset+1开始。 SQL： SELECT astyle, TUMBLE_STA

Re: Flink 状态使用问题咨询

这种情况我需要改flink源码吗，还是自己实现一个自定义的state类就好了，还有在这个state类中怎么能获取到key呢 > 在 2019年4月17日，上午11:24，wenlong.lwl 写道： > > 可以封装一下state 的访问，从state get不到数据的时候，去数据库里取下，更新到state里 > > On Tue, 16 Apr 2019 at 20:53, zhang yue wrote: > >> 是的，我希望从mysql加载初始的状态，因为我的kafka消息是从某个时间点开始的，在这个时间点之前的数据需要先加载到flink state >> 那现在对于这

RE: Flink 状态使用问题咨询

有做过类似的事情，不用侵入flink的源码。记录几个关键信息： 1. Function open的时间，openTime； 2. 数据初始化的时间，initTime，可以用State保存； 3. 真正的业务State 当有数据过来时，iff (null == initTime) || (initTime < openTime) 进行初始数据加载动作。 Sent from Mail for Windows 10 ___

Re: Flink 状态使用问题咨询

嗯，明白你的意思，initTime < openTime是做何考虑，什么情况下initTime < openTime会满足 > 在 2019年4月24日，下午8:16，Shi Quan 写道： > > initTime < openTime

RE: Flink 状态使用问题咨询

主要是考虑是在从异常恢复场景下，业务state是否需要重新加载。如果不需要重新加载，就不要记录这么多时间用来判断了。 Sent from Mail for Windows 10 From: zhang yue Sent: Wednesday, April 24, 2019 8:29:07 PM To: user-zh@flink.apache.org Subject: Re: Flink 状态使用问题咨询 嗯，明白你

Re: Flink Stream SQL group by TUMBLE(rowtime,)

您好,请问 【没有offset从earliest开始，有则从offset开始】这个是怎么实现的啊 On 4/24/2019 16:46，邵志鹏 wrote： 大家好，问题求助： 事件时间使用EventTime，默认Checkpoint【没有offset从earliest开始，有则从offset开始】。 assignTimestampsAndWatermarks，1、不使用Watermark，即默认eventtime时间戳；2、使用官方max取最大值；两种情况问题基本相同： 问题描述： 比如，发送40条数据，窗口消费33条。另外7条，需要继续发送新的数据，才会被消费

Re: Flink 状态使用问题咨询

访问db获取初始state，是要hack下的，要自己保存一个KeySelector，算下当前记录的Key是什么，这个逻辑不用改flink，写到你业务代码里就好了。 On Wed, 24 Apr 2019 at 21:23, Shi Quan wrote: > 主要是考虑是在从异常恢复场景下，业务state是否需要重新加载。如果不需要重新加载，就不要记录这么多时间用来判断了。 > > > > Sent from Mail for > Windows 10 > > > > ___