怎样把 state 定时写到外部存储
消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 有没有什么方式可以定期读 state 写到外部存储？ 我现在用的是 Flink1.7.2 版本。 wangl...@geekplus.com.cn
Re: 怎样把 state 定时写到外部存储
好奇为什么要把 State 定期写到外存呢？是外部系统需要使用这些 State 吗？那为什么不把 State 以 sink 的方式写出去呢？ Best, Congxian Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道： > 是否可以注册一个定时器？ > > > 你看看这个文章，是否对你有帮助 > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > 在2019年10月31日 10:16，wangl...@geekplus.com.cn 写道： > > > 消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 > 有没有什么方式可以定期读 state 写到外部存储？ > 我现在用的是 Flink1.7.2 版本。 > > > > > > wangl...@geekplus.com.cn
Re: Re: 怎样把 state 定时写到外部存储
Hi Congxian， 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 我们的 case 是写到 MySQL 中 wangl...@geekplus.com.cn Sender: Congxian Qiu Send Time: 2019-11-01 10:10 Receiver: user-zh Subject: Re: 怎样把 state 定时写到外部存储 好奇为什么要把 State 定期写到外存呢？是外部系统需要使用这些 State 吗？那为什么不把 State 以 sink 的方式写出去呢？ Best, Congxian Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道： > 是否可以注册一个定时器？ > > > 你看看这个文章，是否对你有帮助 > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > 在2019年10月31日 10:16，wangl...@geekplus.com.cn 写道： > > > 消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 > 有没有什么方式可以定期读 state 写到外部存储？ > 我现在用的是 Flink1.7.2 版本。 > > > > > > wangl...@geekplus.com.cn
Re: Re: 怎样把 state 定时写到外部存储
使用 window 聚合一下批量写呢？ wangl...@geekplus.com.cn 于2019年11月1日周五 上午10:17写道： > Hi Congxian， > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > 我们的 case 是写到 MySQL 中 > > > > wangl...@geekplus.com.cn > > Sender: Congxian Qiu > Send Time: 2019-11-01 10:10 > Receiver: user-zh > Subject: Re: 怎样把 state 定时写到外部存储 > 好奇为什么要把 State 定期写到外存呢？是外部系统需要使用这些 State 吗？那为什么不把 State 以 sink 的方式写出去呢？ > > Best, > Congxian > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道： > > > 是否可以注册一个定时器？ > > > > > > 你看看这个文章，是否对你有帮助 > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > 在2019年10月31日 10:16，wangl...@geekplus.com.cn< > wangl...@geekplus.com.cn> > > 写道： > > > > > > 消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 > > 有没有什么方式可以定期读 state 写到外部存储？ > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > wangl...@geekplus.com.cn >
Re: Re: 怎样把 state 定时写到外部存储
你好， 对你的问题描述有一些疑问 > 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住 > 有没有什么方式可以定期读 state 写到外部存储？ 这里是什么意思呢？更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的，给外部系统使用的数据一般通过 sink 写出去，和 state 没有直接关系。 从你的描述中，只看到貌似是写 Mysql (是通过 sink 吗？) 扛不住。批量写一下？比如在 sink 中处理一下 如果没理解对你的问题，你可以再详细描述一下 Thanks, Biao /'bɪ.aʊ/ On Fri, 1 Nov 2019 at 11:21, misaki L wrote: > 使用 window 聚合一下批量写呢？ > > wangl...@geekplus.com.cn 于2019年11月1日周五 > 上午10:17写道： > > > Hi Congxian， > > > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > > 我们的 case 是写到 MySQL 中 > > > > > > > > wangl...@geekplus.com.cn > > > > Sender: Congxian Qiu > > Send Time: 2019-11-01 10:10 > > Receiver: user-zh > > Subject: Re: 怎样把 state 定时写到外部存储 > > 好奇为什么要把 State 定期写到外存呢？是外部系统需要使用这些 State 吗？那为什么不把 State 以 sink 的方式写出去呢？ > > > > Best, > > Congxian > > > > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道： > > > > > 是否可以注册一个定时器？ > > > > > > > > > 你看看这个文章，是否对你有帮助 > > > > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > > 在2019年10月31日 10:16，wangl...@geekplus.com.cn< > > wangl...@geekplus.com.cn> > > > 写道： > > > > > > > > > 消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 > > > 有没有什么方式可以定期读 state 写到外部存储？ > > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > > > > > > > wangl...@geekplus.com.cn > > >
Re: Re: 怎样把 state 定时写到外部存储
感觉wanglei更想去获取 state 的数据，只不过是需要将 state 数据额外的存储到外部的系统去，但是这样可能性能不太好。 那么可以换个思路来，直降使用 flink 的 state，你外部的直接获取 flink 的 state 呢？使用 flink-queryable-state 获取。 Biao Liu 于2019年11月5日周二 上午11:10写道： > 你好， > > 对你的问题描述有一些疑问 > > > 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住 > > 有没有什么方式可以定期读 state 写到外部存储？ > > 这里是什么意思呢？更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的，给外部系统使用的数据一般通过 > sink 写出去，和 state 没有直接关系。 > > 从你的描述中，只看到貌似是写 Mysql (是通过 sink 吗？) 扛不住。批量写一下？比如在 sink 中处理一下 > > 如果没理解对你的问题，你可以再详细描述一下 > > Thanks, > Biao /'bɪ.aʊ/ > > > > On Fri, 1 Nov 2019 at 11:21, misaki L wrote: > > > 使用 window 聚合一下批量写呢？ > > > > wangl...@geekplus.com.cn 于2019年11月1日周五 > > 上午10:17写道： > > > > > Hi Congxian， > > > > > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > > > 我们的 case 是写到 MySQL 中 > > > > > > > > > > > > wangl...@geekplus.com.cn > > > > > > Sender: Congxian Qiu > > > Send Time: 2019-11-01 10:10 > > > Receiver: user-zh > > > Subject: Re: 怎样把 state 定时写到外部存储 > > > 好奇为什么要把 State 定期写到外存呢？是外部系统需要使用这些 State 吗？那为什么不把 State 以 sink 的方式写出去呢？ > > > > > > Best, > > > Congxian > > > > > > > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道： > > > > > > > 是否可以注册一个定时器？ > > > > > > > > > > > > 你看看这个文章，是否对你有帮助 > > > > > > > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > > > 在2019年10月31日 10:16，wangl...@geekplus.com.cn< > > > wangl...@geekplus.com.cn> > > > > 写道： > > > > > > > > > > > > 消息驱动，QPS 很高， 每一条消息来都会更改 state 值，如果每一条消息来都写外部存储下游撑不住。 > > > > 有没有什么方式可以定期读 state 写到外部存储？ > > > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > > > > > > > > > > > > > wangl...@geekplus.com.cn > > > > > >
