MySQL CDC connector
支持并发读取的,读取过程也不会用锁,600万的数据量很小了,百亿级的分库分表我们和社区用户测试下都是ok的,你可以自己试试。
祝好,
Leonard
> 2021年12月6日 下午3:54,张阳 <705503...@qq.com.INVALID> 写道:
>
> 因为数据量有600w 所以担心初始化时间太长 或者性能问题
>
>
>
>
> -- 原始邮件 --
> 发件人:
> "user-zh"
>
> 发送时间: 2021年12月6日(星期一) 下午2:38
> 收件人: "user-zh"
> 主题: Re: flink结合历史数据怎么处理
>
>
>
> 如果你的数据源是 数据库,你可以尝试下 Flink CDC Connectors[1], 这些Connector 就是 hybrid source,
> 先读历史全量数据,再读增量数据,
> 历史和增量阶段是无缝衔接的。
>
> 祝好,
> Leonard
> [1]
> https://ververica.github.io/flink-cdc-connectors/release-2.1/content/connectors/mysql-cdc.html
>
>
> > 2021年12月2日 下午2:40,张阳 >
> > 统计的指标有大量的历史数据,怎么把历史的数据和今天的实时数据进行汇总呢。