请教Cumulate Windows问题

2021-09-12 文章 xiaocuyu
各位社区大佬: 您好! 在使用Flink SQL中,我有一个需求是:对当天所有的数据进行聚合,然后固定时间输出聚合结果,目前感觉Cumulate Windows这种窗口比较符合要求,但是这种窗口有个问题,每次输出会将窗口中所有的值都重新计算,然后输出,这样会导致下游的输出随着时间推移,每次的输出会越来越多。 是否有方法,在输出的时候,仅输出上一个输出,到本次输出,值有变化的那些数据呢? 目前我这边尝试,使用Cumulate Windows后,先Sink 到Kafka的一个Topic,然后再使用Upsert Kafka Source消费,

Re: Flink Stream + StreamTableEnvironment 结合使用时checkpoint异常问题

2021-09-12 文章 Tony Wei
Hi 從代碼上來看是使用了 regular join 關聯了 kafka source 和 hbase source,hbase connector 目前是不支持流式數據源的 你可以從任務儀表板上確認下提交的任務,hbase source 的部分應該在執行一段時間後狀態會變更為 FINISHED,目前 flink checkpoint 還不支持在 FINISHED task 上執行 你可以考慮改寫 sql 使用 processing time temporal join [1] 的方式來關聯 hbase table,從 kafka 消費的數據會實時的去查 hbase table 的當前數