sql。
>>
>> 另一种思路就是kafka topic增加一下分区
>>
>> Asahi Lee <978466...@qq.com> 于2020年9月28日周一 下午1:56写道:
>>
>> > 你好! 使用flink
>> > SQL,如何设置rebalance呢?----------原始邮件--
>> > 发件人:zilongnbsp;xiao> > 发送时间:2020年9月27日(星期天) 晚上6:27
>> > 收件人:user-zh> > 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出
>>
>
-
> > 发件人:zilongnbsp;xiao > 发送时间:2020年9月27日(星期天) 晚上6:27
> > 收件人:user-zh > 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出
>
e sql聚合后设置并行度为2及以上,数据无法输出
这个问题的原因应该是你的kafka partition数量应该是大于1的,并且不是所有partition都有数据导致的。
你可以检查下你的kafka topic。
目前来讲,只要你的每个kafka 的partition都有数据,那么watermark应该是可以正常产生的。跟并行度无关。
Asahi Lee <978466...@qq.com<mailto:978466...@qq.com>> 于2020年9月27日周日 下午6:05写道:
> 你好!
> 我使用flink
> sql,从ka
这个问题的原因应该是你的kafka partition数量应该是大于1的,并且不是所有partition都有数据导致的。
你可以检查下你的kafka topic。
目前来讲,只要你的每个kafka 的partition都有数据,那么watermark应该是可以正常产生的。跟并行度无关。
Asahi Lee <978466...@qq.com> 于2020年9月27日周日 下午6:05写道:
> 你好!
> 我使用flink
>
发件人:zilongnbsp;xiao 发送时间:2020年9月27日(星期天) 晚上6:27
> 收件人:user-zh 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出
Hi Asahi Lee
你需要确认下kafka topic的分区数是多少,如果是1,那就需要设置下rebalance,让每个tm都有数据流入
Asahi Lee <978466...@qq.com> 于2020年9月27日周日 下午6:05写道:
> 你好!
> 我使用flink
> sql,从kafka中读取数据,然后进行sql聚合操作,然后再输出到kafka中;当我设置并行度为1时,程序执行正常;当我设置并行度为2,甚至更大时;程序可以执行,但是我的kafka中没有看到有数据输出?请问是什么原因呢?
> 使用stream api时,我们可以给每个算子设置并行度,那sql