source并行度不同导致任务没有数据落地

2019-12-25 Thread zhaorui_9...@163.com
hi all: 最近碰到一个很头疼的事情,两个任务相同的sql语句不同的source,任务的并行度为8,一个source是kafka一个source是rabbitmq,kafka和rabbitmq中加载相同的数据后,source为rabbitmq的任务有数据落地,source为kafka的任务运行好几次都不见有数据落地。因为sql中涉及到了窗口,所以考虑过kafka多partition对数据读取顺序的影响,将所有数据都加载到kafka的同一个partition中重启任务后发现还是没有数据落地。考虑到这两个任务唯一的不同点就是源为rabbitmq的任务source算子的并行度为

Re: source并行度不同导致任务没有数据落地

2019-12-25 Thread JingsongLee
Hi zhaorui, 你是不是指定了Rowtime的列? 如果指定了,Kafka是否有的通道一直没有数据或者数据没有前进? Window的输出触发是需要watermark前进的,这也就需要你的每个通道都有数据在时间上前进,也就是说每个Kafka的通道都需要有最新时间点的数据源源不断的来。 你设置成一个并发,那就只要一个通道有数据就可以了,所以绕过了这个问题。 Best, Jingsong Lee -- From:zhaorui_9...@163.co