RocksDB增量模式checkpoint大小持续增长的问题
我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章:https://blog.csdn.net/RL_LEEE/article/details/123864487,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数, 请社区指导下,或者有没有别的解决方案?感谢社区!
Re:flink cdc 读取数据后面可以跟窗口函数吗
Hi, Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 可以具体描述一下“一直不生效”的现象和SQL么? [1] https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1 -- Best! Xuyang 在 2024-01-17 19:24:03,"2813732510" <2813732...@qq.com.INVALID> 写道: >flink cdc 读取binlog数据后面可以开窗吗,测试滑动窗口,聚合,一直不生效,是有什么特别的用法嘛
Re: flink cdc 读取数据后面可以跟窗口函数吗
你好, CDC Source 目前不支持窗口函数。 不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为: 1. 使用DATE_FORMAT函数,将时间字段转换成分钟粒度的字符串,作为窗口值。 2. 根据窗口值进行GROUP BY聚合。 Best, Hang Xuyang 于2024年1月17日周三 19:34写道: > Hi, > Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 > 可以具体描述一下“一直不生效”的现象和SQL么? > > > > [1] > https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1 > > > > > -- > > Best! > Xuyang > > > > > > 在 2024-01-17 19:24:03,"2813732510" <2813732...@qq.com.INVALID> 写道: > >flink cdc 读取binlog数据后面可以开窗吗,测试滑动窗口,聚合,一直不生效,是有什么特别的用法嘛 >
Re: RocksDB增量模式checkpoint大小持续增长的问题
你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > > 我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章: > https://blog.csdn.net/RL_LEEE/article/details/123864487,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数, > 请社区指导下,或者有没有别的解决方案?感谢社区!
Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51,"Zakelly Lan" 写道: >你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State >TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > >> >> 我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章: >> https://blog.csdn.net/RL_LEEE/article/details/123864487,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数, >> 请社区指导下,或者有没有别的解决方案?感谢社区!
Re:Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
看hdfs上shard文件比chk-xxx要大很多。 在 2024-01-18 14:49:14,"fufu" 写道: 是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~ 在 2024-01-18 10:56:51,"Zakelly Lan" 写道: >你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State >TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > >> >> 我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章: >> https://blog.csdn.net/RL_LEEE/article/details/123864487,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数, >> 请社区指导下,或者有没有别的解决方案?感谢社区!
Re: Re:Re: RocksDB增量模式checkpoint大小持续增长的问题
图挂了看不到,不然你把文字信息简单复制下来看看? 另外你的ProcessWindowFunction里是否会访问state,如果访问了,是否实现了clear方法? On Thu, Jan 18, 2024 at 3:01 PM fufu wrote: > 看hdfs上shard文件比chk-xxx要大很多。 > > > > 在 2024-01-18 14:49:14,"fufu" 写道: > > 是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink > UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~ > > 在 2024-01-18 10:56:51,"Zakelly Lan" 写道: > > >你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State > >TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大 > > > >On Wed, Jan 17, 2024 at 4:09 PM fufu wrote: > > > >> > >> > 我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章: > >> https://blog.csdn.net/RL_LEEE/article/details/123864487 > ,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数, > >> 请社区指导下,或者有没有别的解决方案?感谢社区! >