mini-batch只是攒批后再执行,执行数据量并没有减少。而在我这个场景下是需要以攒批内再根据key聚合取最新的结果,执行数据量会大大减少。mini-batch应该还做不到吧?

















在 2021-12-16 17:15:45,"Jingsong Li" <jingsongl...@gmail.com> 写道:
>理论上mini-batch就可以优化回撤流。
>
>目前是join没有支持mini-batch。
>
>On Thu, Dec 16, 2021 at 5:12 PM casel.chen <casel_c...@126.com> wrote:
>>
>> 看了《Oceanus的实时流式计算实践与优化》https://jishuin.proginn.com/p/763bfbd5acbf 
>> 想问一下社区是否有意实现这里说的回撤流优化功能呢?
>> 实际业务很多数据是从mysql binlog cdc接入的,在回撤流上做计算是常见的场景,能否在flink sql中支持这些优化呢?
>
>
>
>-- 
>Best, Jingsong Lee

回复