1.未keyby的话,user1 user2
user3的顺序取决于分区策略,比如forward他们还是会在一个subtask上,顺序还是有序的,如果被打散的话就不确定了
2.keyby的话,可以保证同一个key的后续数据保持有序,不同的key不能保证一定有序
| |
Sun.Zhu
|
|
邮箱:17626017...@163.com
|
Signature is customized by Netease Mail Master
在2020年03月31日 15:39,tingli ke 写道:
HI,再次补充一下我的场景,如下图所示:
1、kafka TopicA的Part
Hi,
watermark 可以在 keyBy 后分配,但是最好紧跟 SourceFunction。经过 KeyBy
或其他分配策略,可能导致数据更大的延迟(EventTime)。
“想做key化的乱序处理” 这句没太理解,麻烦解释下。
| |
Jimmy Wong
|
|
wangzmk...@163.com
|
签名由网易邮箱大师定制
在2020年03月30日 20:58,tingli ke 写道:
请教一个问题:kafka-per-partition 的watermark的分配,可以在keyby之后分配吗,想做key化的乱序处理能支持吗