请教，有哪些连接器能让我获得一个非 update/delete，但又有主键的流呢？

背景：我想试用 flink sql 的 deduplicate 处理一个带*主键*的流，我发现 1. 如果我使用 mysql-cdc 获得一个流，它会报错 Deduplicate doesn't support consuming update and delete changes 2. 如果我使用 kafka json 获得一个流，虽然 deduplicate 不报错，但是不能设置主键，报错 The Kafka table '...' with 'json' format doesn't support defining PRIMARY KEY constraint on the

Re: Re:Re: Re:请问有哪些功能，是 stream api 可以做到，而 table api 无法做到的呢？

明白了，多谢。 是 Canal-Json 格式的 Kafka Connector. 我们的一个产品 (TiCDC) 已经实现了输出 Canal-Json 格式的 changelog 到 Kafka 中，现在可以方便地使用 table api 对接 flink。 现在是因为考虑到 Stream Api 能力比 Table Api 能力要强，所以在评估是否需要再实现一个 Stream Connector. -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re:请问有哪些功能，是 stream api 可以做到，而 table api 无法做到的呢？

非常感谢你的回复！ 问下另一个问题，现在有这样一个场景： 1. table api 的计算无法满足一些需求，需要使用 stream api 进行计算； 2. 有现成可用的 table api connector； 3. 没有现成可用的 stream api connector，需要进行一段时间的开发适配工作。 那么是否存在一种方法，使用 table api connector 输入输出数据，但是使用 stream api 进行计算？

请问有哪些功能，是 stream api 可以做到，而 table api 无法做到的呢？

如题，望各位老师指点。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: JDBC 并发写入量大时挂掉

感谢，使用最新的 release 1.11 之后没有再出现这样的问题。 祝好！ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: JDBC 并发写入量大时挂掉

操作中没有 DELETE 语句也会导致这个问题吗？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

JDBC 并发写入量大时挂掉

测试发了10个线程，每个线程1000次，一共1万条记录 会在写入几千条的时候挂掉 2020-10-29 12:04:55,573 WARN org.apache.flink.runtime.taskmanager.Task [] - Join(joinType=[LeftOuterJoin], where=[(ID = ID1)], select=[ID, PRODUCT_SERVICE, CUSTOMER_NO, CUSTOMER_NAME, CUSTOMER_REQUEST_NO, EXTE RNAL_NO, STATUS,

Re: Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

谢谢，请问有相关的 issue 链接吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

Flink 版本： flink:1.11.1-scala_2.12 连接器 mysql-connector-java-8.0.21 flink-sql-connector-kafka_2.12-1.11.1 flink-connector-jdbc_2.12-1.11.1 Flink SQL： CREATE TABLE source_user_name ( loan_no int, name varchar, PRIMARY KEY (loan_no) NOT ENFORCED ) WITH ( 'connector' = 'kafka',

Re: flink sql client 如何同时执行多条 sql 语句

谢谢两位，我尝试一下。 也希望 flink sql client 本身支持这样的模式。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: FlinkSQL 任务提交后 任务名称问题

谢谢两位，我尝试一下。 也希望 flink sql client 本身支持这样的模式。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql client 如何同时执行多条 sql 语句

我有一个 sql 文件，它里面有不少 flink sql 的创建表的语句和查询语句，现在我想要通过 sql client 提交这些任务，却只能一句一句的复制粘贴。如果同时复制粘贴多条语句就会报错，在 flink sql client 中使用 source xxx.sql 也会报错。 请问用什么样的方法可以一次性执行多条语句呢？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink SQL 为什么不支持 utf8mb4 字符集？

问下大家，我在 flink 1.11 sql client 中执行 ```sql CREATE TABLE `test16` ( `c_first` varchar(16) CHARACTER SET `UTF-16LE` )WITH ('connector' = 'blackhole'); ``` 是可以成功创建一张表的。 而执行 ```sql CREATE TABLE `test8` ( `c_first` varchar(16) CHARACTER SET `utf8mb4` )WITH ('connector' = 'blackhole'); ```

Re: JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

谢谢你的回复，它确实帮到了我。 我找到了另一个问题： rewriteBatchedStatements=true 应该是驼峰式，而我之前用了全小写，以至于按批写入不生效。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.11.1 sql client 流式 join 出现预期之外的含 null 行

本问题最后可以归结到这个问题： 请问在 flink sql 中建立的多张表应当怎样分辨接收 kafka 传来的 canal-json？ 并且已经解决。 谢谢你的帮助 -- Sent from: http://apache-flink.147419.n8.nabble.com/

JDBC connector 写入 mysql 每秒大约只有 200KB 是正常的吗

这是我的代码，它仅仅把数据从 datagen source 写入到了 jdbc sink. ```java package main; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.flink.table.api.EnvironmentSettings; public class Main {

Re: 请问在 flink sql 中建立的多张表应当怎样分辨接收 kafka 传来的 canal-json？

谢谢，我明白了。 祝好 -- Sent from: http://apache-flink.147419.n8.nabble.com/

请问在 flink sql 中建立的多张表应当怎样分辨接收 kafka 传来的 canal-json？

这是我在 flink sql 中建立的两张表： create table base ( id int, location varchar(20) )WITH ( 'connector' = 'kafka', 'topic' = 'example', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'properties.bootstrap.servers' = 'localhost:9092',

flink 1.11.1 sql client 流式 join 出现预期之外的含 null 行

mysql 的建表语句 use test; create table base ( id int primary key, location varchar(20) ); create table stuff( id int primary key, b_id int, name varchar(20) ); flink sql client 的建表语句 create table base ( id int primary key, location varchar(20)

flink 1.11 SQL Client 流式 join 出现了不应有的含 null 的行

在 mysql 上的建表语句： use test; create table base ( id int primary key, location varchar(20) ); create table stuff( id int primary key, b_id int, name varchar(20) ); 在 flink sql client 中的建表语句： create table base ( id int primary key, location