Re:Re: flink sql回撤流sink优化问题

你说的是upsert-kafka的这两个参数吗？ sink.buffer-flush.max-rows sink.buffer-flush.interval 确实能达到我想要的效果，但是会引入额外的kafka sink，另外还是从sink kafka消费再写入mysql，链路有点长，最好是能在原来作业的基础上在sink前添加一个聚合算子。 在 2021-12-25 22:54:19，"郭伟权" 写道：

Re:Re: flink sql回撤流sink优化问题

jdbc sink的buffer-flush不会减少写入的数据量，只是变成微批写入而已，mysql写入的压力并没有减少。 而我想要实现的效果是会减少写的数据量，因为同一个key的数据被聚合成最后一条。 在 2021-12-26 09:43:47，"Zhiwen Sun" 写道： >不用那么复杂，正常的 insert select group by 即可， 一分钟写一次 mysql 就行。 > >参考 JDBC sink [1] 中的 sink.buffer-flush.interval 和 sink.buffer-flush.max-rows >参数 >