Re: 维度表变化,关联结果全部更新在Flink SQL该如何实现

2022-03-22 文章 wushijjian5
1. 两个流的数据分别存入hbase; 2. 然后起新的消费者,两条流做outer join , 并设置一定时间的TTL: A, 能关联上直接输出 B, 右流为空,左流关联hbase补充右流数据 C, 左流为空,右流关联hbase补充左流数据 3, 全局数据根据一个version或ts可以排序去重 > 2022年3月22日 17:07,Michael Ran 写道: > > 可以考虑存储层 局部更新 > 在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道: >> Cdc join >>

Re: FlinkSql回撤流

2021-11-24 文章 wushijjian5
;> >> 或許可以考慮把 sql 寫法改為這樣試試? >> >> select user, sum(num) as num >>> from ( >>> select user, ord, num * IF(flag=1, 1, -1) as num >>> from tmpTable, >>> group by user, ord >>> ) t1 >>> group by user >>

Re: FlinkSql回撤流

2021-11-24 文章 wushijjian5
ct() 获得产生的 > CloseableIterator,然后通过 Row#getKind 获得该 row 对应的 op。 > > 顺便问一下,为什么需要在 SQL 里获得 op 呢?因为这个 op 应该只对内部算子以及 sink 有用,用户一般来说是不需要感知的。 > > wushijjian5 mailto:wsjwoods...@163.com>> 于2021年11月24日周三 > 下午9:05写道: > > > DataStream> dataStream = > env.fromElemen