回复: flink mysql cdc + hive streaming疑问

2020-11-01 文章 Zhang Yuxiao
您好, 您设置的分区提交策略是既写入hive的metastore,又会在分区目录中生成_SUCCESS文件 'sink.partition-commit.policy.kind' = 'metastore,success-file', 可以看看分区目录中的_SUCCESS文件有没有生成,没有的话hive那边也是由于分区的元数据没有提交导致的。 分区元数据提交延迟好像是跟Checkpoint的周期以及 'sink.partition-commit.delay' 配置有关,可以尝试等待两者相加的时间在看看hive是否可以查询。 祝好, __

回复:flink mysql cdc + hive streaming疑问

2020-10-30 文章 罗显宴
hive3可以hive2不可以,换了kafka也没用吧,hive3之前一般都不支持数据仓库的更改。不知道回答的对不对,欢迎指正。 | | 罗显宴 | | 邮箱:15927482...@163.com | 签名由 网易邮箱大师 定制 在2020年10月31日 12:06,陈帅 写道: 我想使用flink sql的mysql-cdc connector直接将mysql表数据实时同步进hive,运行后抛 Exception in thread "main" org.apache.flink.table.api.TableException: AppendStreamTableSink d