Flink 状态使用问题咨询

2019-04-16 Thread zhang yue
你好,我有一个keyed state,当我启动flink程序时,我需要根据数据库中的数据给每个key加载不同的数值状态,我应该怎样来操作呢,在文档上找不到例子,我觉得应该是在open函数中设置初始状态,但是在这里获取不到key。 class LineItemStat extends RichFlatMapFunction { /** * The ValueState handle. The first field is the count, the second field a running sum. */ private transie

Re: Flink 状态使用问题咨询

2019-04-16 Thread Congxian Qiu
Hi 如果你希望程序在刚开始运行的时候从外部存储加载数据,这个暂时做不到,不过现在社区正在做 Savepoint Reader/Writer 相关的事情,到时候就可以了 Best, Congxian On Apr 16, 2019, 20:27 +0800, zhang yue , wrote: > 你好,我有一个keyed > state,当我启动flink程序时,我需要根据数据库中的数据给每个key加载不同的数值状态,我应该怎样来操作呢,在文档上找不到例子,我觉得应该是在open函数中设置初始状态,但是在这里获取不到key。 > > > class LineItemStat ext

Re: Flink 状态使用问题咨询

2019-04-16 Thread zhang yue
Savepoint Reader/Writer 首先将外部数据写入savepoint,然后从savepoint启动吗 > 在 2019年4月16日,下午8:33,Congxian Qiu 写道: > > Hi > 如果你希望程序在刚开始运行的时候从外部存储加载数据,这个暂时做不到,不过现在社区正在做 Savepoint Reader/Writer > 相关的事情,到时候就可以了 > > Best, Congxian > On Apr 16, 2019, 20:27 +0800, zhang yue , wrote: >> 你好,我有一个keyed >> state,当我启动fli

Re: Flink 状态使用问题咨询

2019-04-16 Thread zhang yue
是的,我希望从mysql加载初始的状态,因为我的kafka消息是从某个时间点开始的,在这个时间点之前的数据需要先加载到flink state 那现在对于这种场景有什么替代方案吗 > 在 2019年4月16日,下午8:33,Congxian Qiu 写道: > > Hi > 如果你希望程序在刚开始运行的时候从外部存储加载数据,这个暂时做不到,不过现在社区正在做 Savepoint Reader/Writer > 相关的事情,到时候就可以了 > > Best, Congxian > On Apr 16, 2019, 20:27 +0800, zhang yue , wrote: >>

Re: Flink 状态使用问题咨询

2019-04-16 Thread wenlong.lwl
可以封装一下state 的访问,从state get不到数据的时候,去数据库里取下,更新到state里 On Tue, 16 Apr 2019 at 20:53, zhang yue wrote: > 是的,我希望从mysql加载初始的状态,因为我的kafka消息是从某个时间点开始的,在这个时间点之前的数据需要先加载到flink state > 那现在对于这种场景有什么替代方案吗 > > > 在 2019年4月16日,下午8:33,Congxian Qiu 写道: > > > > Hi > > 如果你希望程序在刚开始运行的时候从外部存储加载数据,这个暂时做不到,不过现在社区正在做 S

Re: Flink 状态使用问题咨询

2019-04-24 Thread zhang yue
这种情况我需要改flink源码吗,还是自己实现一个自定义的state类就好了,还有在这个state类中怎么能获取到key呢 > 在 2019年4月17日,上午11:24,wenlong.lwl 写道: > > 可以封装一下state 的访问,从state get不到数据的时候,去数据库里取下,更新到state里 > > On Tue, 16 Apr 2019 at 20:53, zhang yue wrote: > >> 是的,我希望从mysql加载初始的状态,因为我的kafka消息是从某个时间点开始的,在这个时间点之前的数据需要先加载到flink state >> 那现在对于这

RE: Flink 状态使用问题咨询

2019-04-24 Thread Shi Quan
indows 10 From: zhang yue Sent: Wednesday, April 24, 2019 6:21:57 PM To: user-zh@flink.apache.org Subject: Re: Flink 状态使用问题咨询 这种情况我需要改flink源码吗,还是自己实现一个自定义的state类就好了,还有在这个state类中怎么能获取到key呢 > 在 2019年4月17日,上午11:24,wenlong.lwl 写道: > > 可以封装一下state 的访问,从state get不到数据的时候,去数据库里取下,更新

Re: Flink 状态使用问题咨询

2019-04-24 Thread zhang yue
嗯,明白你的意思,initTime < openTime是做何考虑,什么情况下initTime < openTime会满足 > 在 2019年4月24日,下午8:16,Shi Quan 写道: > > initTime < openTime

RE: Flink 状态使用问题咨询

2019-04-24 Thread Shi Quan
主要是考虑是在从异常恢复场景下,业务state是否需要重新加载。如果不需要重新加载,就不要记录这么多时间用来判断了。 Sent from Mail<https://go.microsoft.com/fwlink/?LinkId=550986> for Windows 10 From: zhang yue Sent: Wednesday, April 24, 2019 8:29:07 PM To: user-zh@flink.apache.org Subject: Re: Flink 状态使用问题咨询

Re: Flink 状态使用问题咨询

2019-04-24 Thread wenlong.lwl
> for > Windows 10 > > > > > From: zhang yue > Sent: Wednesday, April 24, 2019 8:29:07 PM > To: user-zh@flink.apache.org > Subject: Re: Flink 状态使用问题咨询 > > 嗯,明白你的意思,initTime < openTime是做何考虑,什么情况下initTime < openTime会满足 > > > 在 2019年4月24日,下午8:16,Shi Quan 写道: > > > > initTime < openTime > >