使用 window 聚合一下批量写呢?
wangl...@geekplus.com.cn 于2019年11月1日周五 上午10:17写道:
> Hi Congxian,
>
> 以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
> 我们的 case 是写到 MySQL 中
>
>
>
> wangl...@geekplus.com.cn
>
> Sender: Congxian Qiu
> Send Time: 2019-11-01 10:10
> Receiver: user-zh
> Subject: Re: 怎样把 state 定时写到外部存储
>
Hi Congxian,
以 sink 的方式写出去最终也要落在某个地方才能供查询使用啊。
我们的 case 是写到 MySQL 中
wangl...@geekplus.com.cn
Sender: Congxian Qiu
Send Time: 2019-11-01 10:10
Receiver: user-zh
Subject: Re: 怎样把 state 定时写到外部存储
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
Best,
Congxian
Jun Zhang
好奇为什么要把 State 定期写到外存呢?是外部系统需要使用这些 State 吗?那为什么不把 State 以 sink 的方式写出去呢?
Best,
Congxian
Jun Zhang <825875...@qq.com> 于2019年10月31日周四 上午10:36写道:
> 是否可以注册一个定时器?
>
>
> 你看看这个文章,是否对你有帮助
>
>
> https://mp.weixin.qq.com/s/VUEvvoHoupZMpxWQsEeHEA
> 在2019年10月31日 10:16,wangl...@geekplus.com.cn 写道:
>
>
>
谢谢,了解了。
王磊
wangl...@geekplus.com.cn
Sender: Yun Tang
Send Time: 2019-11-01 01:38
Receiver: user-zh@flink.apache.org
Subject: Re: Flink State 过期清除 TTL 问题
Hi 王磊
从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置
cleanupFullSnapshot,这样你在执行full
Hi 王磊
从你的配置以及使用Flink-1.7版本看,并没有启用主动清理过期数据的功能 [1],建议对StateTtlConfig 配置
cleanupFullSnapshot,这样你在执行full
snapshot(也就是Savepoint)的时候,会把过期的数据不保存在你的Savepoint内容中。如果你不启用主动清理,只有当原先的数据被读取时,才会进行清理,这可能就导致你的Savepoint内容不断增长的原因。
另外,建议升级到Flink-1.8+,对state TTL的特性支持更好,可以参考中文文章 [2]
[1]
了解了,非常感谢!
Yun Tang 于2019年10月31日周四 下午3:10写道:
> Hi 瑞斌
>
> 后续的operator在使用window操作时,所依赖的时间戳都是这个ingestion time,如果你的message里面有"event
> time"语义的field,那么后续就可以拿在source端生成的ingestion time 与这个field所表征的时间进行比较。
>
>
>
> On 10/31/19, 10:45 AM, "邢瑞斌" wrote:
>
> Hi 唐云,
>
>
>
Hi 瑞斌
后续的operator在使用window操作时,所依赖的时间戳都是这个ingestion time,如果你的message里面有"event
time"语义的field,那么后续就可以拿在source端生成的ingestion time 与这个field所表征的时间进行比较。
On 10/31/19, 10:45 AM, "邢瑞斌" wrote:
Hi 唐云,