Re: Re:Flink SQL消费kafka topic有办法限速么？

Tue, 28 May 2024 18:01:58 -0700 

应该是可以的。另外在老版本的 Kafka connector 上，曾经也实现过限速逻辑 [1]，可以参考下。这个需求我觉得还比较通用，可以提一个 JIRA。

[1] https://issues.apache.org/jira/browse/FLINK-11501

Best,
Zhanghao Chen
________________________________
From: casel.chen <[email protected]>
Sent: Tuesday, May 28, 2024 22:00
To: [email protected] <[email protected]>
Subject: Re:Flink SQL消费kafka topic有办法限速么？

查了下Flink源码，当前DataGeneratorSource有添加RateLimiterStrategy参数，但KafkaSource没有该参数，可以像DataGeneratorSource那样来实现限速么？

public DataGeneratorSource(

        GeneratorFunction<Long, OUT> generatorFunction,

        long count,

        RateLimiterStrategy rateLimiterStrategy,

        TypeInformation<OUT> typeInfo) {...}

















在 2024-05-27 23:47:40，"casel.chen" <[email protected]> 写道：
>Flink SQL消费kafka topic有办法限速么？场景是消费kafka 
>topic数据写入下游mongodb，在业务高峰期时下游mongodb写入压力大，希望能够限速消费kafka，请问要如何实现？

回复