FlinkSQL join 维表后一定会变成 upsert流吗？

Wed, 09 Jun 2021 01:51:07 -0700 

请教各位一下，我使用 FlinkSQL 编写任务时，kafka source ->  MySQL sink  不设置主键，查看了一下 request
mode 是 [INSERT] ，也就是普通的 append 流，这很正常。

但是当我关联上维表后，发现 request mode 变成了 [INSERT, UPDATE_BEFORE, UPDATE_AFTER,
DELETE],这时异常报错会要求我给 sink 表设置主键，当我设置上主键后就会变成了 upsert 流。

upsert流底层实现原理是 INSERT INTO ... DUPLICATE KEY UPDATE，由于我采用的是阿里云的ADB数据库，该语法在
ADB 中主键是不支持update的，这会导致报错。且业务上我只想以 append 流的形式插入表。 

请问各位有什么好的解决方案吗，关联上维表但是还是保持 append流？

// 维表
CREATE TABLE DimTable (
   //省略字段
) WITH (
    'connector' = 'jdbc',
    'url' = '***********',
    'table-name' = 'v2_dim_game_id',
    'driver' = 'com.mysql.cj.jdbc.Driver',
    'username' = '*******',
    'password' = '*******',
    'lookup.cache.max-rows'='5000',
    'lookup.cache.ttl' = '60s',
    'lookup.max-retries'='3'
);



--
Sent from: http://apache-flink.147419.n8.nabble.com/

回复