RocksDB增量模式checkpoint大小持续增长的问题
我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章：https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， 请社区指导下，或者有没有别的解决方案？感谢社区！
Re:flink cdc 读取数据后面可以跟窗口函数吗
Hi, Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 可以具体描述一下“一直不生效”的现象和SQL么？ [1] https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1 -- Best！ Xuyang 在 2024-01-17 19:24:03，"2813732510" <2813732...@qq.com.INVALID> 写道： >flink cdc 读取binlog数据后面可以开窗吗，测试滑动窗口，聚合，一直不生效，是有什么特别的用法嘛
Re: flink cdc 读取数据后面可以跟窗口函数吗
你好， CDC Source 目前不支持窗口函数。 不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为： 1. 使用DATE_FORMAT函数，将时间字段转换成分钟粒度的字符串，作为窗口值。 2. 根据窗口值进行GROUP BY聚合。 Best, Hang Xuyang 于2024年1月17日周三 19:34写道： > Hi, > Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 > 可以具体描述一下“一直不生效”的现象和SQL么？ > > > > [1] > https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1 > > > > > -- > > Best！ > Xuyang > > > > > > 在 2024-01-17 19:24:03，"2813732510" <2813732...@qq.com.INVALID> 写道： > >flink cdc 读取binlog数据后面可以开窗吗，测试滑动窗口，聚合，一直不生效，是有什么特别的用法嘛 >
Re: RocksDB增量模式checkpoint大小持续增长的问题
你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > > 我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章： > https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， > 请社区指导下，或者有没有别的解决方案？感谢社区！
Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51，"Zakelly Lan" 写道： >你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State >TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > >> >> 我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章： >> https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， >> 请社区指导下，或者有没有别的解决方案？感谢社区！
Re:Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
看hdfs上shard文件比chk-xxx要大很多。 在 2024-01-18 14:49:14，"fufu" 写道： 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51，"Zakelly Lan" 写道： >你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State >TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > >> >> 我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章： >> https://blog.csdn.net/RL_LEEE/article/details/123864487，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， >> 请社区指导下，或者有没有别的解决方案？感谢社区！
Re: Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
图挂了看不到，不然你把文字信息简单复制下来看看？ 另外你的ProcessWindowFunction里是否会访问state，如果访问了，是否实现了clear方法？ On Thu, Jan 18, 2024 at 3:01 PM fufu wrote: > 看hdfs上shard文件比chk-xxx要大很多。 > > > > 在 2024-01-18 14:49:14，"fufu" 写道： > > 是datastream作业，窗口算子本身没有设置TTL，其余算子设置了TTL，是在Flink > UI上看到窗口算子的size不断增大，一天能增加个600~800M，持续不断的增大。以下图为例：ID为313的cp比ID为304的大了将近10M，一直运行，会一直这么增加下去。cp文件和rocksdb文件正在看~ > > 在 2024-01-18 10:56:51，"Zakelly Lan" 写道： > > >你好，能提供一些详细的信息吗，比如：是datastream作业吧？是否设置了State > >TTL？观测到逐渐变大是通过checkpoint监控吗，总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > > > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > > > >> > >> > 我有一个Flink任务，使用的是flink1.14.6版本，任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口，任务运行的时候这个算子的状态在不断增大，每天能增大个几百M这种，这个问题怎么排查？使用的事件时间，水位线下发正常，其余的算子都正常，就这个算子在不断增长，非常诡异。在网上搜到一个类似的文章： > >> https://blog.csdn.net/RL_LEEE/article/details/123864487 > ，想尝试下，但不知道manifest大小如何设置，没有找到对应的参数， > >> 请社区指导下，或者有没有别的解决方案？感谢社区！ >
