回复:keyby的乱序处理

2020-04-03 文章 Sun.Zhu
1.未keyby的话,user1 user2 user3的顺序取决于分区策略,比如forward他们还是会在一个subtask上,顺序还是有序的,如果被打散的话就不确定了 2.keyby的话,可以保证同一个key的后续数据保持有序,不同的key不能保证一定有序 | | Sun.Zhu | | 邮箱:17626017...@163.com | Signature is customized by Netease Mail Master 在2020年03月31日 15:39,tingli ke 写道: HI,再次补充一下我的场景,如下图所示: 1、kafka TopicA的Part

回复:keyby的乱序处理

2020-03-30 文章 Jimmy Wong
Hi, watermark 可以在 keyBy 后分配,但是最好紧跟 SourceFunction。经过 KeyBy 或其他分配策略,可能导致数据更大的延迟(EventTime)。 “想做key化的乱序处理” 这句没太理解,麻烦解释下。 | | Jimmy Wong | | wangzmk...@163.com | 签名由网易邮箱大师定制 在2020年03月30日 20:58,tingli ke 写道: 请教一个问题:kafka-per-partition 的watermark的分配,可以在keyby之后分配吗,想做key化的乱序处理能支持吗