flink cdc 3.0 schema变更问题

2024-06-12 文章 zapjone
大佬们好: 想请假下,在flink cdc3.0中支持schema变更,但看到是pipeline方式的,因业务问题需要使用datastream进行特殊处理,所以想请假下,在flink cdc 3.0中datastream api中怎么使用schema变更呢?或者相关文档呢?

changelogstream删除问题

2024-06-10 文章 zapjone
大佬们好: 我使用datastream api进行实时读取mysql数据时,通过tableEnv.fromChangelogStream将datastram转换成了变更表,在使用sql将变更表数据写入数据湖中。 但经过测试,insert、update都可以正常实现,但delete无法实现删除操作,使用sql进行测试时,可以实现删除操作。(因有些逻辑需要api操作,就没有使用sql方式实现)。 代码: StreamExecutionEnvironment env = ...; StreamTableEnvironment tableEnv = ...; MySqlSource

Flink Datastream实现删除操作

2024-06-04 文章 zapjone
各位大佬好: 想请教下,在使用mysql-cdc到iceberg,通过sql方式可以实现自动更新和删除功能。但在使用datastream api进行处理后,注册成临时表,怎么实现类似于sql方式的自动更新和删除呢?

Re:回复: 如何在程序里面判断作业是否是重启了

2021-02-03 文章 zapjone
下游数据做好幂等操作,就不怕重复操作了。。 在 2021-02-04 11:26:56,"op" <520075...@qq.com> 写道: >重启可能会导致数据重发,想加个告警 > > > > >--原始邮件-- >发件人: > "user-zh"

Re: flink-cdc-mysql 使用时遇到的问题

2020-10-30 文章 zapjone
感觉是不是表的权限没有开哦? Sent from my iPhone > On Oct 31, 2020, at 10:07, yangxusun9 wrote: > > 我的flink/lib下的文件列表如下 > > 当我使用flink-sql client 时,查询表报错如下 >