Re:Re:Re: 请问flink sql作业如何给kafka source table消费限速?

[Xuyang]

Hi, 现在flink sql还没有办法限流。有需求的话可以建一个jira[1]，在社区推进下。




[1] https://issues.apache.org/jira/projects/FLINK/issues




--

Best！
Xuyang





在 2024-06-05 15:33:30，"casel.chen"  写道：
>flink sql作业要如何配置进行限流消费呢？以防止打爆存储系统
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>在 2024-06-05 14:46:23，"Alex Ching"  写道：
>>从代码上看，Flink
>>内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter，
>>但是并没有在connector中使用。
>>
>>casel.chen  于2024年6月5日周三 14:36写道：
>>
>>> kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql
>>> connector中不起作用，请问这是为什么？如何才能给flink kafka source table消费限速? 谢谢！
>>>
>>>
>>> [1] https://blog.csdn.net/qq_37774171/article/details/122816246

Re:Re: 请问flink sql作业如何给kafka source table消费限速?

[casel.chen]

flink sql作业要如何配置进行限流消费呢？以防止打爆存储系统

















在 2024-06-05 14:46:23，"Alex Ching"  写道：
>从代码上看，Flink
>内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter，
>但是并没有在connector中使用。
>
>casel.chen  于2024年6月5日周三 14:36写道：
>
>> kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql
>> connector中不起作用，请问这是为什么？如何才能给flink kafka source table消费限速? 谢谢！
>>
>>
>> [1] https://blog.csdn.net/qq_37774171/article/details/122816246

Re: 请问flink sql作业如何给kafka source table消费限速?

[Alex Ching]

从代码上看，Flink
内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter，
但是并没有在connector中使用。

casel.chen  于2024年6月5日周三 14:36写道：

> kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql
> connector中不起作用，请问这是为什么？如何才能给flink kafka source table消费限速? 谢谢！
>
>
> [1] https://blog.csdn.net/qq_37774171/article/details/122816246

请问flink sql作业如何给kafka source table消费限速?

[casel.chen]

kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql connector中不起作用，请问这是为什么？如何才能给flink 
kafka source table消费限速? 谢谢！


[1] https://blog.csdn.net/qq_37774171/article/details/122816246