退订

2022-10-12 文章 陈鑫
退订



Re:flink cdc什么时候支持flink 1.15.x?

2022-10-12 文章 Xuyang
Hi,你可以参考cdc社区中支持flink 
1.15的issue[1]和pr[2],着急的话,可以尝试先cp这个pr到本地分支[1]https://github.com/ververica/flink-cdc-connectors/issues/1363[2]https://github.com/ververica/flink-cdc-connectors/pull/1504
在 2022-10-11 11:01:25,"casel.chen"  写道:
>当前flinlk cdc master分支的snapshot版本最高支持到flink 1.14.4,尝试使用flink 
>1.15.2编译会出错,请问flink cdc什么时候支持flink 1.15.x?


Re: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序

2022-10-12 文章 Shuo Cheng
Flink SQL 自身机制无法保证同一个作业多个 sink 的写入次序。 是否可以考虑从业务逻辑上动手脚,比如写入消息队列 sink 前加个 udf
filter, udf 查询 database,满足条件才写入消息队列,当然这种方式对性能可能有影响。

On Wed, Oct 12, 2022 at 2:41 PM Zhiwen Sun  wrote:

> hi all:
>
> 我们有个场景,需要 Flink SQL 同时写入消息和 database, 后续实时任务消费消息,再次读取 database, 如果消息先于
> database 写入,这就可能导致读取的数据不正确。
>
> 是否有办法保证 database 写入后,再发送消息?
>
> Zhiwen Sun
>


回复: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序

2022-10-12 文章 仙路尽头谁为峰
Hi Zhiwen:

 
可以试试将kafkasink设置为exactly-once,同时下游任务的kafkasource设置为读已提交,不过如果你的checkpoint间隔很长,下游要很久才能从kafka拿到数据。

从 Windows 版邮件发送

发件人: Zhiwen Sun
发送时间: 2022年10月12日 14:42
收件人: user-zh@flink.apache.org
主题: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序

hi all:

我们有个场景,需要 Flink SQL 同时写入消息和 database, 后续实时任务消费消息,再次读取 database, 如果消息先于
database 写入,这就可能导致读取的数据不正确。

是否有办法保证 database 写入后,再发送消息?

Zhiwen Sun