Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-10-14 文章 Peihui He
sql。 >> >> 另一种思路就是kafka topic增加一下分区 >> >> Asahi Lee <978466...@qq.com> 于2020年9月28日周一 下午1:56写道: >> >> > 你好! 使用flink >> > SQL,如何设置rebalance呢?----------原始邮件-- >> > 发件人:zilongnbsp;xiao> > 发送时间:2020年9月27日(星期天) 晚上6:27 >> > 收件人:user-zh> > 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出 >> >

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-10-13 文章 Peihui He
- > > 发件人:zilongnbsp;xiao > 发送时间:2020年9月27日(星期天) 晚上6:27 > > 收件人:user-zh > 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出 >

flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-09-29 文章 王刚
e sql聚合后设置并行度为2及以上,数据无法输出 这个问题的原因应该是你的kafka partition数量应该是大于1的,并且不是所有partition都有数据导致的。 你可以检查下你的kafka topic。 目前来讲,只要你的每个kafka 的partition都有数据,那么watermark应该是可以正常产生的。跟并行度无关。 Asahi Lee <978466...@qq.com<mailto:978466...@qq.com>> 于2020年9月27日周日 下午6:05写道: > 你好! > 我使用flink > sql,从ka

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-09-29 文章 Benchao Li
这个问题的原因应该是你的kafka partition数量应该是大于1的,并且不是所有partition都有数据导致的。 你可以检查下你的kafka topic。 目前来讲,只要你的每个kafka 的partition都有数据,那么watermark应该是可以正常产生的。跟并行度无关。 Asahi Lee <978466...@qq.com> 于2020年9月27日周日 下午6:05写道: > 你好! > 我使用flink >

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-09-28 文章 shizk233
发件人:zilongnbsp;xiao 发送时间:2020年9月27日(星期天) 晚上6:27 > 收件人:user-zh 主题:Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-09-27 文章 zilong xiao
Hi Asahi Lee 你需要确认下kafka topic的分区数是多少,如果是1,那就需要设置下rebalance,让每个tm都有数据流入 Asahi Lee <978466...@qq.com> 于2020年9月27日周日 下午6:05写道: > 你好! > 我使用flink > sql,从kafka中读取数据,然后进行sql聚合操作,然后再输出到kafka中;当我设置并行度为1时,程序执行正常;当我设置并行度为2,甚至更大时;程序可以执行,但是我的kafka中没有看到有数据输出?请问是什么原因呢? > 使用stream api时,我们可以给每个算子设置并行度,那sql