Re: flink结合历史数据怎么处理

2021-12-06 文章 Leonard Xu
MySQL CDC connector 
支持并发读取的,读取过程也不会用锁,600万的数据量很小了,百亿级的分库分表我们和社区用户测试下都是ok的,你可以自己试试。

祝好,
Leonard


> 2021年12月6日 下午3:54,张阳 <705503...@qq.com.INVALID> 写道:
> 
> 因为数据量有600w 所以担心初始化时间太长 或者性能问题
> 
> 
> 
> 
> -- 原始邮件 --
> 发件人:  
>   "user-zh"   
>  
>  发送时间: 2021年12月6日(星期一) 下午2:38
> 收件人: "user-zh" 
> 主题: Re: flink结合历史数据怎么处理
> 
> 
> 
> 如果你的数据源是 数据库,你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source, 
> 先读历史全量数据,再读增量数据,
> 历史和增量阶段是无缝衔接的。
> 
> 祝好,
> Leonard 
> [1] 
> https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
> 
> 
> > 2021年12月2日 下午2:40,张阳  > 
> > 统计的指标有大量的历史数据,怎么把历史的数据和今天的实时数据进行汇总呢。



Re: flink结合历史数据怎么处理

2021-12-05 文章 Leonard Xu
如果你的数据源是 数据库,你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source, 
先读历史全量数据,再读增量数据,
历史和增量阶段是无缝衔接的。

祝好,
Leonard 
[1] 
https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html


> 2021年12月2日 下午2:40,张阳  写道:
> 
> 统计的指标有大量的历史数据,怎么把历史的数据和今天的实时数据进行汇总呢。