Hi

目前SQL还不支持watermark对齐,目前有FLIP正在讨论中
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=240884405

Best,
Shammon


On Wed, Feb 22, 2023 at 3:15 PM haishui <haishui...@126.com> wrote:

> Hi, all
> 以并行度4读取kafka的topic1和topic2形成两个流,然后IntervalJoin。在kafka堆积大量数据的情况下,我分别用SQL和DataStream
> API实现了上述功能。
>
>
> 使用SQL实现的作业中IntervalJoin算子的状态会逐渐增大,直到checkpoint失败。原因是在8个Source分区中输出水位线差距很大。
> 使用API实现的作业,在使用Flink15版本的水位线对齐后可以保证正常读取topic内的所有数据。
>
>
>
> 想请教一下大家如何在SQL上解决Source处水位线差距过大,数据堆积导致checkpoint失败问题。还有如果只有一个topic有数据如何保证作业不会崩溃

回复