怎样把 state 定时写到外部存储
消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 有没有什么方式可以定期读 state 写到外部存储? 我现在用的是 Flink1.7.2 版本。 wangl...@geekplus.com.cn
Re: 怎样把 state 定时写到外部存储
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? Best, Congxian Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > 是否可以注册一个定时器? > > > 你看看这个文章,是否对你有帮助 > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > 在2019年10月31日 10:16,wangl...@geekplus.com.cn 写道: > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 > 有没有什么方式可以定期读 state 写到外部存储? > 我现在用的是 Flink1.7.2 版本。 > > > > > > wangl...@geekplus.com.cn
Re: Re: 怎样把 state 定时写到外部存储
Hi Congxian, 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 我们的 case 是写到 MySQL 中 wangl...@geekplus.com.cn Sender: Congxian Qiu Send Time: 2019-11-01 10:10 Receiver: user-zh Subject: Re: 怎样把 state 定时写到外部存储 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? Best, Congxian Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > 是否可以注册一个定时器? > > > 你看看这个文章,是否对你有帮助 > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > 在2019年10月31日 10:16,wangl...@geekplus.com.cn 写道: > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 > 有没有什么方式可以定期读 state 写到外部存储? > 我现在用的是 Flink1.7.2 版本。 > > > > > > wangl...@geekplus.com.cn
Re: Re: 怎样把 state 定时写到外部存储
使用 window 聚合一下批量写呢? wangl...@geekplus.com.cn 于2019年11月1日周五 上午10:17写道: > Hi Congxian, > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > 我们的 case 是写到 MySQL 中 > > > > wangl...@geekplus.com.cn > > Sender: Congxian Qiu > Send Time: 2019-11-01 10:10 > Receiver: user-zh > Subject: Re: 怎样把 state 定时写到外部存储 > 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? > > Best, > Congxian > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > > > 是否可以注册一个定时器? > > > > > > 你看看这个文章,是否对你有帮助 > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > 在2019年10月31日 10:16,wangl...@geekplus.com.cn< > wangl...@geekplus.com.cn> > > 写道: > > > > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 > > 有没有什么方式可以定期读 state 写到外部存储? > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > wangl...@geekplus.com.cn >
Re: Re: 怎样把 state 定时写到外部存储
你好, 对你的问题描述有一些疑问 > 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住 > 有没有什么方式可以定期读 state 写到外部存储? 这里是什么意思呢?更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的,给外部系统使用的数据一般通过 sink 写出去,和 state 没有直接关系。 从你的描述中,只看到貌似是写 Mysql (是通过 sink 吗?) 扛不住。批量写一下?比如在 sink 中处理一下 如果没理解对你的问题,你可以再详细描述一下 Thanks, Biao /'bɪ.aʊ/ On Fri, 1 Nov 2019 at 11:21, misaki L wrote: > 使用 window 聚合一下批量写呢? > > wangl...@geekplus.com.cn 于2019年11月1日周五 > 上午10:17写道: > > > Hi Congxian, > > > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > > 我们的 case 是写到 MySQL 中 > > > > > > > > wangl...@geekplus.com.cn > > > > Sender: Congxian Qiu > > Send Time: 2019-11-01 10:10 > > Receiver: user-zh > > Subject: Re: 怎样把 state 定时写到外部存储 > > 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? > > > > Best, > > Congxian > > > > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > > > > > 是否可以注册一个定时器? > > > > > > > > > 你看看这个文章,是否对你有帮助 > > > > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > > 在2019年10月31日 10:16,wangl...@geekplus.com.cn< > > wangl...@geekplus.com.cn> > > > 写道: > > > > > > > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 > > > 有没有什么方式可以定期读 state 写到外部存储? > > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > > > > > > > wangl...@geekplus.com.cn > > >
Re: Re: 怎样把 state 定时写到外部存储
感觉wanglei更想去获取 state 的数据,只不过是需要将 state 数据额外的存储到外部的系统去,但是这样可能性能不太好。 那么可以换个思路来,直降使用 flink 的 state,你外部的直接获取 flink 的 state 呢?使用 flink-queryable-state 获取。 Biao Liu 于2019年11月5日周二 上午11:10写道: > 你好, > > 对你的问题描述有一些疑问 > > > 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住 > > 有没有什么方式可以定期读 state 写到外部存储? > > 这里是什么意思呢?更改 state 值和写外部系统存储应该是两个独立的事件。state 是 Flink 内部使用的,给外部系统使用的数据一般通过 > sink 写出去,和 state 没有直接关系。 > > 从你的描述中,只看到貌似是写 Mysql (是通过 sink 吗?) 扛不住。批量写一下?比如在 sink 中处理一下 > > 如果没理解对你的问题,你可以再详细描述一下 > > Thanks, > Biao /'bɪ.aʊ/ > > > > On Fri, 1 Nov 2019 at 11:21, misaki L wrote: > > > 使用 window 聚合一下批量写呢? > > > > wangl...@geekplus.com.cn 于2019年11月1日周五 > > 上午10:17写道: > > > > > Hi Congxian, > > > > > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > > > 我们的 case 是写到 MySQL 中 > > > > > > > > > > > > wangl...@geekplus.com.cn > > > > > > Sender: Congxian Qiu > > > Send Time: 2019-11-01 10:10 > > > Receiver: user-zh > > > Subject: Re: 怎样把 state 定时写到外部存储 > > > 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? > > > > > > Best, > > > Congxian > > > > > > > > > Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > > > > > > > 是否可以注册一个定时器? > > > > > > > > > > > > 你看看这个文章,是否对你有帮助 > > > > > > > > > > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > > > > 在2019年10月31日 10:16,wangl...@geekplus.com.cn< > > > wangl...@geekplus.com.cn> > > > > 写道: > > > > > > > > > > > > 消息驱动,QPS 很高, 每一条消息来都会更改 state 值,如果每一条消息来都写外部存储下游撑不住。 > > > > 有没有什么方式可以定期读 state 写到外部存储? > > > > 我现在用的是 Flink1.7.2 版本。 > > > > > > > > > > > > > > > > > > > > > > > > wangl...@geekplus.com.cn > > > > > >