各位社区大佬:
您好!
在使用Flink SQL中,我有一个需求是:对当天所有的数据进行聚合,然后固定时间输出聚合结果,目前感觉Cumulate
Windows这种窗口比较符合要求,但是这种窗口有个问题,每次输出会将窗口中所有的值都重新计算,然后输出,这样会导致下游的输出随着时间推移,每次的输出会越来越多。
是否有方法,在输出的时候,仅输出上一个输出,到本次输出,值有变化的那些数据呢?
目前我这边尝试,使用Cumulate Windows后,先Sink 到Kafka的一个Topic,然后再使用Upsert Kafka
Source消费,
Hi
從代碼上來看是使用了 regular join 關聯了 kafka source 和 hbase source,hbase connector
目前是不支持流式數據源的
你可以從任務儀表板上確認下提交的任務,hbase source 的部分應該在執行一段時間後狀態會變更為 FINISHED,目前 flink
checkpoint 還不支持在 FINISHED task 上執行
你可以考慮改寫 sql 使用 processing time temporal join [1] 的方式來關聯 hbase table,從 kafka
消費的數據會實時的去查 hbase table 的當前數