1. 两个流的数据分别存入hbase;
2. 然后起新的消费者,两条流做outer join , 并设置一定时间的TTL:
A, 能关联上直接输出
B, 右流为空,左流关联hbase补充右流数据
C, 左流为空,右流关联hbase补充左流数据
3, 全局数据根据一个version或ts可以排序去重
> 2022年3月22日 17:07,Michael Ran 写道:
>
> 可以考虑存储层 局部更新
> 在 2022-03-21 17:00:31,"zns" <865094...@qq.com.INVALID> 写道:
>> Cdc join
>>
;>
>> 或許可以考慮把 sql 寫法改為這樣試試?
>>
>> select user, sum(num) as num
>>> from (
>>> select user, ord, num * IF(flag=1, 1, -1) as num
>>> from tmpTable,
>>> group by user, ord
>>> ) t1
>>> group by user
>>
ct() 获得产生的
> CloseableIterator,然后通过 Row#getKind 获得该 row 对应的 op。
>
> 顺便问一下,为什么需要在 SQL 里获得 op 呢?因为这个 op 应该只对内部算子以及 sink 有用,用户一般来说是不需要感知的。
>
> wushijjian5 mailto:wsjwoods...@163.com>> 于2021年11月24日周三
> 下午9:05写道:
>
>
> DataStream> dataStream =
> env.fromElemen