Re: Re: 怎样把 state 定时写到外部存储

2019-10-31 文章 misaki L
使用 window 聚合一下批量写呢? wangl...@geekplus.com.cn 于2019年11月1日周五 上午10:17写道: > Hi Congxian, > > 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 > 我们的 case 是写到 MySQL 中 > > > > wangl...@geekplus.com.cn > > Sender: Congxian Qiu > Send Time: 2019-11-01 10:10 > Receiver: user-zh > Subject: Re: 怎样把 state 定时写到外部存储 >

Re: Re: 怎样把 state 定时写到外部存储

2019-10-31 文章 wangl...@geekplus.com.cn
Hi Congxian, 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。 我们的 case 是写到 MySQL 中 wangl...@geekplus.com.cn Sender: Congxian Qiu Send Time: 2019-11-01 10:10 Receiver: user-zh Subject: Re: 怎样把 state 定时写到外部存储 好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? Best, Congxian Jun Zhang

Re: 怎样把 state 定时写到外部存储

2019-10-31 文章 Congxian Qiu
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢? Best, Congxian Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道: > 是否可以注册一个定时器? > > > 你看看这个文章,是否对你有帮助 > > > https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA > 在2019年10月31日 10:16,wangl...@geekplus.com.cn 写道: > > >

Re: Re: Flink State 过期清除 TTL 问题

2019-10-31 文章 wangl...@geekplus.com.cn
谢谢,了解了。 王磊 wangl...@geekplus.com.cn Sender: Yun Tang Send Time: 2019-11-01 01:38 Receiver: user-zh@flink.apache.org Subject: Re: Flink State 过期清除 TTL 问题 Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置 cleanupFullSnapshot,这样你在执行full

Re: Flink State 过期清除 TTL 问题

2019-10-31 文章 Yun Tang
Hi 王磊 从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置 cleanupFullSnapshot,这样你在执行full snapshot(也就是Savepoint)的时候,会把过期的数据不保存在你的Savepoint内容中。如果你不启用主动清理,只有当原先的数据被读取时,才会进行清理,这可能就导致你的Savepoint内容不断增长的原因。 另外,建议升级到Flink-1.8+,对state TTL的特性支持更好,可以参考中文文章 [2] [1]

Re: 如何过滤异常的timestamp?

2019-10-31 文章 邢瑞斌
了解了,非常感谢! Yun Tang 于2019年10月31日周四 下午3:10写道: > Hi 瑞斌 > > 后续的operator在使用window操作时,所依赖的时间戳都是这个ingestion time,如果你的message里面有"event > time"语义的field,那么后续就可以拿在source端生成的ingestion time 与这个field所表征的时间进行比较。 > > > > On 10/31/19, 10:45 AM, "邢瑞斌" wrote: > > Hi 唐云, > > >

Re: 如何过滤异常的timestamp?

2019-10-31 文章 Yun Tang
Hi 瑞斌 后续的operator在使用window操作时,所依赖的时间戳都是这个ingestion time,如果你的message里面有"event time"语义的field,那么后续就可以拿在source端生成的ingestion time 与这个field所表征的时间进行比较。 On 10/31/19, 10:45 AM, "邢瑞斌" wrote: Hi 唐云,