回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1

Tue, 29 Sep 2020 04:13:41 -0700 

你的kafka的分区数是多少，把flink的并行度加大到kafka的分区数。



Best  Jun


------------------ 原始邮件 ------------------
发件人: me <m...@lishiyu.cn&gt;
发送时间: 2020年9月29日 19:08
收件人: user-zh <user-zh@flink.apache.org&gt;
主题: 回复：flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1



flink1.11实时写入hive，写入速度很慢，checkpoint为60秒，并行度为1
tableEnv.executeSql("insert into dwd_security_log select * from " + table)
实际写入hive之后，查看hdfs上写入的文件为19M,这是60秒内写入hive的，flink流式写入hive通过checkpotin来把数据刷入hive中。


请问大家只有有什么提升写入速度的参数或者方式吗？

回复