图挂了看不到,不然你把文字信息简单复制下来看看?
另外你的ProcessWindowFunction里是否会访问state,如果访问了,是否实现了clear方法?
On Thu, Jan 18, 2024 at 3:01 PM fufu wrote:
> 看hdfs上shard文件比chk-xxx要大很多。
>
>
>
> 在 2024-01-18 14:49:14,"fufu" 写道:
>
> 是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink
> UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为
看hdfs上shard文件比chk-xxx要大很多。
在 2024-01-18 14:49:14,"fufu" 写道:
是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink
UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~
在 2024-01-18 10:56:51,"Zakelly Lan" 写道:
>你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否
是datastream作业,窗口算子本身没有设置TTL,其余算子设置了TTL,是在Flink
UI上看到窗口算子的size不断增大,一天能增加个600~800M,持续不断的增大。以下图为例:ID为313的cp比ID为304的大了将近10M,一直运行,会一直这么增加下去。cp文件和rocksdb文件正在看~
在 2024-01-18 10:56:51,"Zakelly Lan" 写道:
>你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State
>TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪
你好,能提供一些详细的信息吗,比如:是datastream作业吧?是否设置了State
TTL?观测到逐渐变大是通过checkpoint监控吗,总量是什么级别。cp文件或者本地rocksdb目录下哪些文件最大
On Wed, Jan 17, 2024 at 4:09 PM fufu wrote:
>
> 我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常
你好,
CDC Source 目前不支持窗口函数。
不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为:
1.
使用DATE_FORMAT函数,将时间字段转换成分钟粒度的字符串,作为窗口值。
2.
根据窗口值进行GROUP BY聚合。
Best,
Hang
Xuyang 于2024年1月17日周三 19:34写道:
> Hi,
> Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。
> 可以具体描述一下“一直不生效”的现象和SQL么?
>
>
>
> [1]
> https://nightlies.apa
Hi,
Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。
可以具体描述一下“一直不生效”的现象和SQL么?
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/table/sql/queries/window-agg/#selecting-group-window-start-and-end-timestamps-1
--
Best!
Xuyang
在 2024-01-17 19:24:03,"2813732510"
我有一个Flink任务,使用的是flink1.14.6版本,任务中有一个增量(AggregateFunction)+全量(ProcessWindowFunction)的窗口,任务运行的时候这个算子的状态在不断增大,每天能增大个几百M这种,这个问题怎么排查?使用的事件时间,水位线下发正常,其余的算子都正常,就这个算子在不断增长,非常诡异。在网上搜到一个类似的文章:https://blog.csdn.net/RL_LEEE/article/details/123864487,想尝试下,但不知道manifest大小如何设置,没有找到对应的参数,
请社区指导下,或者有没有别的解决方案?感谢社区!