flink在写入时需要所有DDL中定义的字段都必须被同时写入,不支持sql中只使用部分字段。
如果你确定只需写入部分数据,在DDL中只定义你用到的部分
zboyu0104 于2024年6月14日周五 15:43写道:
> 怎么退订
> from 阿里邮箱
> iPhone--
> 发件人:谢县东
> 日 期:2024年06月06日 16:07:05
> 收件人:
> 主 题:使用hbase连接器插入数据,一个列族下有多列时如何只更新其中一列
>
>
lookup join可以关联多张维表,但是维表的更新不会触发历史数据刷新。
多维表关联的时候,需要考虑多次关联导致的延迟,以及查询tps对维表数据库的压力。
斗鱼 <1227581...@qq.com.invalid> 于2024年6月19日周三 23:12写道:
> 好的,感谢大佬的回复,之前有了解到Flink的Lookup join好像可以实现类似逻辑,只是不知道Lookup join会不会支持多张动态维度表呢?
>
>
> 斗鱼
> 1227581...@qq.com
>
>
>
>
>
>
>
>
>
维表更新后要刷新历史的事实表吗?这个用flink来做的话,几乎不太可能实现,尤其是涉及到多个维表,相当于每次维表又更新了,就要从整个历史数据里面找到关联的数据,重新写入。不管是状态存储,还是更新数据量,需要的资源都太高,无法处理。
在我们目前的实时宽表应用里面,实时表部分一般都是流水类的,取到的维表信息,就应该是业务事实发生时的数据。
维表更新后刷新事实的,一般都是夜间批量再更新。如果有强实时更新需求的,只能在查询时再关联维表取最新值
王旭 于2024年6月16日周日 21:20写道:
> 互相交流哈,我们也在做类似的改造
>