Re:Re:Re:Re: Flink 使用interval join数据丢失疑问

我不理解的点在于，我interval join开的时间窗口比我sql中设置的状态时间都要长，窗口的上下界别是-10s 和 20s，为什么会丢数据？ sql中我设置这个table.exec.state.ttl参数 为20s，照理来说两个流应该也是保留20s的数据在状态中进行join。不知道我的理解是否有问题，希望能够得到解答。 在 2022-06-10 14:15:29，"Xuyang" 写道： >Hi, 你的这条SQL 并不是interval join，是普通join。 >interval join的使用文档可以参考文档[1]。可以试下使用SQL in

Re:Re:Re: Flink 使用interval join数据丢失疑问

Hi, 你的这条SQL 并不是interval join，是普通join。 interval join的使用文档可以参考文档[1]。可以试下使用SQL interval join会不会丢数据（注意设置state的ttl），从而判断是数据的问题还是datastream api的问题。 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/queries/joins/#interval-joins -- Best！ Xuyang 在 2022-0

Re:Re: Flink 使用interval join数据丢失疑问

我用的是以下代码: String s = streamTableEnvironment.explainSql("select header.customer_id" + ",item.goods_id" + ",header.id" + ",header.order_status" + ",header.shop_id" + ",header.parent_order_id" + ",header.order_at" + ",header.pay_at" + ",header.channel_id" + ",header.root_order_id" + ",item.id" + ",ite

Re: Flink 使用interval join数据丢失疑问

你好，能提供下具体的 plan 供大家查看下吗？ 你可以直接 使用 tEnv.executeSql("Explain JSON_EXECUTION_PLAN ").print() 打印下相关的信息。 Best, Shengkai lxk 于2022年6月10日周五 10:29写道： > flink 版本:1.14.4 > 目前在使用flink interval join进行数据关联，在测试的时候发现一个问题，就是使用interval > join完之后数据会丢失，但是使用sql api，直接进行join，数据是正常的，没有丢失。 > 水印是直接使用kafka 自带的时间戳生成wat

Flink 使用interval join数据丢失疑问

flink 版本:1.14.4 目前在使用flink interval join进行数据关联，在测试的时候发现一个问题，就是使用interval join完之后数据会丢失，但是使用sql api，直接进行join，数据是正常的，没有丢失。 水印是直接使用kafka 自带的时间戳生成watermark 以下是代码 ---interval join SingleOutputStreamOperator headerFullStream = headerFilterStream.keyBy(data -> data.getId()) .intervalJoin(filterItemSt

Re:flinkcdc

Hi?? ??DDL At 2022-06-09 17:48:01, "1223681919" <1223681...@qq.com.INVALID> wrote: > > > >[flink-akka.actor.default-dispatcher-6] ERROR >org.apache.flink.runtime.util.FatalExitExceptionHandler - FATAL: Thread >'flink-akka.actor.default-dispatche

Re:(无主题)

Hi， 退订请发送任意消息至 user-zh-unsubscr...@flink.apache.org -- Best！ Xuyang 在 2022-06-09 16:12:11，"zehir.tong" 写道： >退订

Re:退订

Hi， 退订请发送任意消息至 user-zh-unsubscr...@flink.apache.org -- Best！ Xuyang 在 2022-06-09 13:18:55，"高亮" 写道： >退订

flinkcdc

[flink-akka.actor.default-dispatcher-6] ERROR org.apache.flink.runtime.util.FatalExitExceptionHandler - FATAL: Thread 'flink-akka.actor.default-dispatcher-6' produced an uncaught exception. Stopping the process... java.util.concurrent.CompletionException:

(无主题)

退订

(无主题)

退订