Hi,
Hive sink不支持 upsert写入,只能INSERT写入,你怎么设置都不行,一般这种情况可以使用hudi和iceberg作为Sink接受
upsert数据。
Best,
LuNing Wang
799590...@qq.com.INVALID <799590...@qq.com.invalid> 于2022年4月6日周三 14:37写道:
> 问题:flink1.1.36用SQL方式如何设置输出到hive表为upsert模式?
>
> flink:1.13.6
> hive:1.1.1
> hadoop:2.6.0-cdh
问题:flink1.1.36用SQL方式如何设置输出到hive表为upsert模式?
flink:1.13.6
hive:1.1.1
hadoop:2.6.0-cdh5.16.2
纯SQL的方式,使用kafka作为source,中间的转换会有DISTINCT 或者 GROUP 操作,将计算结果sink到hive表,会报下面的错误
doesn't support consuming update changes which is produced by node
GroupAggregate(groupBy=[id, user_id, status, EXPR$3]
在网上找了答案