Re: Re:Flink SQL消费kafka topic有办法限速么？

2024-05-28 文章 Zhanghao Chen 
应该是可以的。另外在老版本的 Kafka connector 上，曾经也实现过限速逻辑 [1]，可以参考下。这个需求我觉得还比较通用，可以提一个 JIRA。

[1] https://issues.apache.org/jira/browse/FLINK-11501

Best,
Zhanghao Chen

From: casel.chen 
Sent: Tuesday, May 28, 2024 22:00
To: user-zh@flink.apache.org 
Subject: Re:Flink SQL消费kafka topic有办法限速么？

查了下Flink源码，当前DataGeneratorSource有添加RateLimiterStrategy参数，但KafkaSource没有该参数，可以像DataGeneratorSource那样来实现限速么？

public DataGeneratorSource(

GeneratorFunction generatorFunction,

long count,

RateLimiterStrategy rateLimiterStrategy,

TypeInformation typeInfo) {...}

















在 2024-05-27 23:47:40，"casel.chen"  写道：
>Flink SQL消费kafka topic有办法限速么？场景是消费kafka 
>topic数据写入下游mongodb，在业务高峰期时下游mongodb写入压力大，希望能够限速消费kafka，请问要如何实现？

Re:Flink SQL消费kafka topic有办法限速么？

2024-05-28 文章 casel.chen 
查了下Flink源码，当前DataGeneratorSource有添加RateLimiterStrategy参数，但KafkaSource没有该参数，可以像DataGeneratorSource那样来实现限速么？

public DataGeneratorSource(

GeneratorFunction generatorFunction,

long count,

RateLimiterStrategy rateLimiterStrategy,

TypeInformation typeInfo) {...}

















在 2024-05-27 23:47:40，"casel.chen"  写道：
>Flink SQL消费kafka topic有办法限速么？场景是消费kafka 
>topic数据写入下游mongodb，在业务高峰期时下游mongodb写入压力大，希望能够限速消费kafka，请问要如何实现？