我们搞过一个 connector,在消费的 kafka 数据积压(流量高峰)的时候丢弃某个时间或某个 offset 之前的数据,尽量消费比较新的数据;不同的丢弃策略有不同的方案,像这种比较定制化的场景可能得自己实现了 -- Best, yuchuan 在 2022-03-12 17:45:59,"史延朋" <yshi24...@gmail.com> 写道: >另外,如果只是某些时刻数据比较多,实现connector侧的限流会不会好一些,另外是否可以考虑建一个关于connector侧限流相关的issue讨论下(不确定是否已经有相关的讨论)
- 如何按比例丢弃kafka中消费的数据 jack zhang
- Re: 如何按比例丢弃kafka中消费的数据 18703416...@163.com
- Re: 如何按比例丢弃kafka中消费的数据 张昊 陈
- Re: 如何按比例丢弃kafka中消费的数据 史延朋
- Re:Re: 如何按比例丢弃kafka中消费的数据 chenkaibit