退订
退订
Re:flink cdc什么时候支持flink 1.15.x?
Hi,你可以参考cdc社区中支持flink 1.15的issue[1]和pr[2],着急的话,可以尝试先cp这个pr到本地分支[1]https://github.com/ververica/flink-cdc-connectors/issues/1363[2]https://github.com/ververica/flink-cdc-connectors/pull/1504 在 2022-10-11 11:01:25,"casel.chen" 写道: >当前flinlk cdc master分支的snapshot版本最高支持到flink 1.14.4,尝试使用flink >1.15.2编译会出错,请问flink cdc什么时候支持flink 1.15.x?
Re: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序
Flink SQL 自身机制无法保证同一个作业多个 sink 的写入次序。 是否可以考虑从业务逻辑上动手脚,比如写入消息队列 sink 前加个 udf filter, udf 查询 database,满足条件才写入消息队列,当然这种方式对性能可能有影响。 On Wed, Oct 12, 2022 at 2:41 PM Zhiwen Sun wrote: > hi all: > > 我们有个场景,需要 Flink SQL 同时写入消息和 database, 后续实时任务消费消息,再次读取 database, 如果消息先于 > database 写入,这就可能导致读取的数据不正确。 > > 是否有办法保证 database 写入后,再发送消息? > > Zhiwen Sun >
回复: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序
Hi Zhiwen: 可以试试将kafkasink设置为exactly-once,同时下游任务的kafkasource设置为读已提交,不过如果你的checkpoint间隔很长,下游要很久才能从kafka拿到数据。 从 Windows 版邮件发送 发件人: Zhiwen Sun 发送时间: 2022年10月12日 14:42 收件人: user-zh@flink.apache.org 主题: Flink SQL 中同时写入多个 sink 时,是否能够保证先后次序 hi all: 我们有个场景,需要 Flink SQL 同时写入消息和 database, 后续实时任务消费消息,再次读取 database, 如果消息先于 database 写入,这就可能导致读取的数据不正确。 是否有办法保证 database 写入后,再发送消息? Zhiwen Sun