Hi Jan, What you are observing is correct for the current implementation.
Current watermark generation is based on subtask instead of partition. Hence if there are more than on partition in the same subtask, it's very easy to see more data dropped. AFAIK, FLIP-27 could solve this problem, however the Kafka Connector has not been migrated to FLIP-27 for now. Jan Oelschlegel <oelschle...@integration-factory.de> 于2021年2月24日周三 下午10:07写道： > Hi Arvid, > > > > thanks for bringing back this topic. > > > > Yes, I’m running on historic data, but as you mentioned that should not be > the problem, even there is a event-time skew between partitions. > > > > But maybe this issue with the missing watermark pushdown per partition is > the important fact: > > > > https://issues.apache.org/jira/browse/FLINK-20041 > > > > > > Best, > > Jan > > > > *Von:* Arvid Heise <ar...@apache.org> > *Gesendet:* Mittwoch, 24. Februar 2021 14:10 > *An:* Jan Oelschlegel <oelschle...@integration-factory.de> > *Cc:* user <user@flink.apache.org>; Timo Walther <twal...@apache.org> > *Betreff:* Re: Kafka SQL Connector: dropping events if more partitions > then source tasks > > > > Hi Jan, > > > > Are you running on historic data? Then your partitions might drift apart > quickly. > > > > However, I still suspect that this is a bug (Watermark should only be from > the slowest partition). I'm pulling in Timo who should know more. > > > > > > > > On Fri, Feb 19, 2021 at 10:50 AM Jan Oelschlegel < > oelschle...@integration-factory.de> wrote: > > If i increase the watermark, the dropped events getting lower. But why is > the DataStream API Job still running with 12 hours watermark delay? > > By the way, I’m using Flink 1.11. It would be nice if someone could give > me some advice. > > > > Best, > > Jan > > > > *Von:* Jan Oelschlegel <oelschle...@integration-factory.de> > *Gesendet:* Donnerstag, 18. Februar 2021 09:51 > *An:* Jan Oelschlegel <oelschle...@integration-factory.de>; user < > user@flink.apache.org> > *Betreff:* AW: Kafka SQL Connector: dropping events if more partitions > then source tasks > > > > By using the DataStream API with the same business logic I’m getting no > dropped events. > > > > *Von:* Jan Oelschlegel <oelschle...@integration-factory.de> > *Gesendet:* Mittwoch, 17. Februar 2021 19:18 > *An:* user <user@flink.apache.org> > *Betreff:* Kafka SQL Connector: dropping events if more partitions then > source tasks > > > > Hi, > > > > i have a question regarding FlinkSQL connector for Kafka. I have 3 Kafka > partitions and 1 Kafka SQL source connector (Parallelism 1). The data > within the Kafka parttitons are sorted based on a event-time field, which > is also my event-time in Flink. My Watermark is generated with a delay of > 12 hours > > > > WATERMARK FOR eventtime as eventtime - INTERVAL '12' HOUR > > > > > > But the problem is that I see dropping events due arriving late in > Prometheus. But with parallelism of 3 there are no drops. > > > > Do I always have to have as much source-tasks as I have Kafka partitions? > > > > > > > > Best, > > Jan > > HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten > bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten > zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten > haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben > angegebenen Telefonnummer. > > HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten > bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten > zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten > haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben > angegebenen Telefonnummer. > > HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten > bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten > zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten > haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben > angegebenen Telefonnummer. > -- Best, Benchao Li
