Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

2024-05-17 文章 Hang Ruan
Congratulations! Thanks for the great work. Best, Hang Qingsheng Ren 于2024年5月17日周五 17:33写道: > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration tool for real time > data and batch data, bringing

Re: 退订

2024-05-11 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 爱看书不识字 于2024年5月11日周六 10:06写道:

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Hang Ruan
- GitHub Repository: https://github.com/apache/flink-cdc >>>> - Flink CDC Documentation: >>>> https://nightlies.apache.org/flink/flink-cdc-docs-stable >>>> >>>> After Flink community accepted this donation[1], we have completed >>>>

Re: 退订

2024-03-11 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh-unsubscr...@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists willluzheng 于2024年3月

Re: 退订

2024-03-11 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 熊柱 <18428358...@163.com> 于2024年3

Re: 退订

2024-03-10 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh-unsubscr...@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 王新隆 于2024年3月11日周一 10

Re: 退订

2024-03-03 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh-unsubscr...@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 4kings...@gmail.com <

Re: flink cdc底层的debezium是如何注册schema到confluent schema registry的?

2024-02-29 文章 Hang Ruan
Hi,casel.chen。 这个部分应该是在 CDC 项目里没有涉及到,CDC 依赖 debezium 的 engine 部分直接读取出变更数据,并没有像 debezium 本身一样去写入到 Kafka 中。 可以考虑去 Debezium 社区咨询一下这部分的内容,Debezium开发者们应该更熟悉这部分的内容。 祝好, Hang casel.chen 于2024年2月29日周四 18:11写道: > 搜索了debezium源码但没有发现哪里有调用 > SchemaRegistryClient.register方法的地方,请问它是如何注册schema到confluent sche

Re: mysql cdc streamapi与sqlapi 输出表现不相同

2024-02-29 文章 Hang Ruan
你好,ha.fengqi。 MySQL CDC 连接器只有在多并发时,会依赖checkpoint的完成来切换到增量阶段。从你提供的代码上来看,是单并发的运行作业,所以应该Source 在这两者之间的行为不会有区别。 这个不同是不是有可能是下游在两种使用方式上,有什么区别? 可以通过观察具体的IO指标看到Source是否真的及时发出消息,如果比较熟悉代码,也可以自己添加一下打印日志来验证。 祝好, Hang

Re: flink cdc 读取数据后面可以跟窗口函数吗

2024-01-17 文章 Hang Ruan
你好, CDC Source 目前不支持窗口函数。 不过可以考虑通过非窗口聚合的方式实现类似的效果。具体方法为: 1. 使用DATE_FORMAT函数,将时间字段转换成分钟粒度的字符串,作为窗口值。 2. 根据窗口值进行GROUP BY聚合。 Best, Hang Xuyang 于2024年1月17日周三 19:34写道: > Hi, > Flink SQL中可以用Group Window[1]的方式来读完cdc数据后加窗口。 > 可以具体描述一下“一直不生效”的现象和SQL么? > > > > [1] > https://nightlies.apa

Re: 退订

2024-01-15 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh-unsubscr...@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Jiabao [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists yd c 于2024年1月15日周一

Re: Re: Flink CDC MySqlSplitReader问题

2023-12-24 文章 Hang Ruan
t; > > > > > > > > > 在 2023-12-20 21:40:05,"Hang Ruan" 写道: > >Hi,casel > > > >这段逻辑应该只有在处理到新增表的时候才会用到。 > >CDC 读取数据正常是会在所有SnapshotSplit读取完成后,才会下发BinlogSplit。 > >但是如果是在增量阶段重启作业,同时新增加了一些表,就会出现同时有BinlogSplit和SnapshotSplit的情况,此时才会走到这段逻辑。 &

Re: Flink CDC MySqlSplitReader问题

2023-12-20 文章 Hang Ruan
Hi,casel 这段逻辑应该只有在处理到新增表的时候才会用到。 CDC 读取数据正常是会在所有SnapshotSplit读取完成后,才会下发BinlogSplit。 但是如果是在增量阶段重启作业,同时新增加了一些表,就会出现同时有BinlogSplit和SnapshotSplit的情况,此时才会走到这段逻辑。 Best, Hang key lou 于2023年12月20日周三 16:24写道: > 意思是当 有 binlog 就意味着 已经读完了 snapshot > > casel.chen 于2023年12月19日周二 16:45写道: > > > 我在阅读flink-

Re: 退订

2023-12-18 文章 Hang Ruan
Please send email to user-unsubscr...@flink.apache.org if you want to unsubscribe the mail from u...@flink.apache.org, and you can refer [1][2] for more details. 请发送任意内容的邮件到 user-unsubscr...@flink.apache.org 地址来取消订阅来自 u...@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink

Re: [ANNOUNCE] Apache Flink 1.18.0 released

2023-10-26 文章 Hang Ruan
Congratulations! Best, Hang Samrat Deb 于2023年10月27日周五 11:50写道: > Congratulations on the great release > > Bests, > Samrat > > On Fri, 27 Oct 2023 at 7:59 AM, Yangze Guo wrote: > > > Great work! Congratulations to everyone involved! > > > > Best, > > Yangze Guo > > > > On Fri, Oct 27, 2023 at 1

Re: 退订

2023-09-11 文章 Hang Ruan
Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best, Hang

Re: 退订

2023-09-11 文章 Hang Ruan
Hi, 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Please send email to user-zh-unsubscr...@flink.apache.org if you want to unsubscribe the mail from user-zh@flink.apache.org , and you can refer [1][2] for more details. Best, Hang

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

2023-03-27 文章 Hang Ruan
Congratulations! Best, Hang yu zelin 于2023年3月28日周二 10:27写道: > Congratulations! > > Best, > Yu Zelin > > 2023年3月27日 17:23,Yu Li 写道: > > Dear Flinkers, > > > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project call

Re: [ANNOUNCE] Apache Flink 1.17.0 released

2023-03-25 文章 Hang Ruan
Thanks for the great work ! Congrats all! Best, Hang Panagiotis Garefalakis 于2023年3月25日周六 03:22写道: > Congrats all! Well done! > > Cheers, > Panagiotis > > On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote: > > > I'd like to say thank you to all contributors of Flink 1.17. Your support > > an

Re: I want to subscribe users' questions

2023-02-07 文章 Hang Ruan
Hi, guanyuan, This document( https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list) will be helpful. welcome~ Best, Hang guanyuan chen 于2023年2月7日周二 21:37写道: > Hi, > My name is Guanyuan Chen.I am a big data development engineer, tencent > wechat department, china. I hav

Re: kafka源码执行测试用例问题

2021-12-19 文章 Hang Ruan
应该先用mvn install 发布到本地仓库,这个依赖才可以被找到 Yuepeng Pan 于2021年12月17日周五 20:28写道: > Hi, Chen. > 如果是idea模式,可以尝试排查下pom中依赖项的scope。 > > > > Best, > Roc. > > > > > > 在 2021-12-17 17:41:32,"陈卓宇" <2572805...@qq.com.INVALID> 写道: > >您好社区: > > > >我在进行flink源码Kafka连接器部分进行测试用例运行 > > > >报错日志: > > > >[ERROR] > org.a