谢谢jark!这几天一直在做性能调优! 1、这里针对这个简单场景目前可以在sink表的test_status表的primary key,增加一个join key。即id和status两个列作为key,这样能使用数据最终一致,算是做了下规避,能一致。复杂点的语句感觉有点难搞,有点不敢用,主要不清楚这个乱序会对其它算子有什么影响,很容易出错,确实应该在flink框架里搞了合适些。这里jark在使用flink sql cdc方面有啥建议吗?
2、关于性能这块,确实flink的rocksdb默认参数,性能很差! 按你给的文章,调了些参数,同时换了ssd硬盘后,write_buffer,buffter_size,能有很好的提升。我说之前怎么并行度提高了,cpu感觉总是跑不满,在等io了。感觉这里提升空间还有很大,还没摸到窍门,哪个参数会比较好。 3、另外,性能监控方面,flink的web ui上的metric有点难用,有没有一些prometheus+grafana的最佳实践的?指标有点多,dashboard搞起来很麻烦, 主要是要有dashboard的配置! -- Sent from: http://apache-flink.147419.n8.nabble.com/