周期性batch mode 从 hive 提取数据插入 mysql,每批次 10K 到 20K 行数据,多数情况下 10-20秒可以完成,但不定期就会很长时间,能达到 20多分钟,但也能成功,查看了日志也看不到错误,检查 mysql 也没有发现锁表,怀疑 hive metastore 的性能,但也没看出问题。
请教分析思路,从 flink 上能看出job 在等待什么吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/
周期性batch mode 从 hive 提取数据插入 mysql,每批次 10K 到 20K 行数据,多数情况下 10-20秒可以完成,但不定期就会很长时间,能达到 20多分钟,但也能成功,查看了日志也看不到错误,检查 mysql 也没有发现锁表,怀疑 hive metastore 的性能,但也没看出问题。
请教分析思路,从 flink 上能看出job 在等待什么吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/