Re: flink sql 读取mysql

Hello 这个报错一般是sql格式错误，比如中英文逗号等，你可以检查下你的SQL语句 祝好 Leonard Xu > 在 2020年7月24日，16:20，liunaihua521 写道： > > org.apache.flink.table.api.SqlParserExcption:Sql parse failed.Encountered > "timestamp,"at line > Was expecting one of: > "CURSOR"...

Re: flink 1.11 cdc相关问题

Hi amenhub 针对这个问题，我建了个issue来跟踪这个问题[1], 另外你可以在你的PG 里面把表的IDENTITY设置为FULL，这样 debezium 同步的UPDATE数据就会有完整的信息， DB命令是：ALTER TABLE yourTable REPLICA IDENTITY FULL, 可以参考debezium官网文档[2] Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18700 <https://issues.apache.org/jira/browse/FLINK-18

Re: flink sql 读取mysql

另外社区中文邮件交流直接发邮件到user-zh@flink.apache.org <mailto:user-zh@flink.apache.org>就可以了，不用发user-zh-...@flink.apache.org <mailto:user-zh-...@flink.apache.org> 这个地址。 > 在 2020年7月24日，14:25，Leonard Xu 写道： > > Hello > 图挂了，可以贴下DDL吗？另外你没有使用维表join语法 FOR SYSTEM_TIME AS OF[1] &

Re: flink sql 读取mysql

Hello 图挂了，可以贴下DDL吗？另外你没有使用维表join语法 FOR SYSTEM_TIME AS OF[1] 祝好 Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sql/queries.html#joins <https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sql/queries.html#joins> > 在 2

Re: flink sql 1.11 kafka source with子句使用新参数，下游消费不到数据

Hi "2020-07-23T19:53:15.509Z” 是 RFC-3339 格式，这个格式是带zone的时间格式，对应的数据类型是 timestamp with local zone，这个应该在1.12里支持了[1] 1.10版本虽然是支持 RFC-3339 格式，但默认解析时区是有问题的，所以在1.11和1.12逐步中纠正了。 在1.11版本中，如果json数据是RFC-3339格式，你可以把这个字段当成string读出来，在计算列中用个UDF自己解析到需要的timestamp。 Best Leonard Xu [1] https://issues.apach

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

; <mailto:user-zh@flink.apache.org>>; > > 主题: Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误 > > > > Hi, Asahi > > 这是一个已知bug[1]，filesystem connector上处理计算列有点问题，已经有PR了，会在1.11.2和1.12版本上修复 > > > Best > Leonard Xu > [1] https://issues.apache.org/j

Re: flink sql 1.11 kafka source with子句使用新参数，下游消费不到数据

Hi 这是1.11里的一个 json format t的不兼容改动[1]，目的是支持更多的 timestamp format 的解析，你可以把json-timestamp-format-standard <https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/formats/json.html#json-timestamp-format-standard>设置成 “ISO-8601”，应该就不用改动了。 Best Leonard Xu [1]

Re: flink sql 1.11 kafka source with子句使用新参数，下游消费不到数据

Hi 你说的下游消费不到数据，这个下游是指当前作业消费不到数据吗？ 正常应该不会的，可以提供个可复现代码吗？ 祝好 Leonard Xu > 在 2020年7月23日，18:13，Zhou Zach 写道： > > Hi all, > > 根据文档https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html#start-reading-position， > 使用新参数创建kafka_table，下游消费不到数据，

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

Hi, Asahi 这是一个已知bug[1]，filesystem connector上处理计算列有点问题，已经有PR了，会在1.11.2和1.12版本上修复 Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18665 <https://issues.apache.org/jira/browse/FLINK-18665> > 在 2020年7月23日，00:07，Asahi Lee <978466...@qq.com>

Re: flinksql1.11中主键声明的问题

Hi, 看了下query，你没有使用维表join语法 FOR SYSTEM_TIME AS OF ，这样直接做的regular join，mysql表是bounded的，第一次读完就不会再读了，所以不会更新。 维表join才会按照你设置的时间去look up 最新的数据，维表是我们常说的temporal table(时态表)的一种，参考[1] 中的 temporal table join 祝好 Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/sql

Re: flink 1.11 cdc相关问题

Hello, 代码在为before这条数据设置rowKind时抛了一个NPE，before正常应该是不为null的。 看起来是你的数据问题，一条 update 的changelog， before 为null， 这是不合理的，没有before的数据，是无法处理after的数据的。 如果确认是脏数据，可以开启ignore-parse-errors跳过[1] 祝好 Leonard [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/debezium.html#debez

Re: flink1.11启动问题

Hello， 可以描述下这个问题吗？ 如果确认是bug的话可以去jira上开个issue的。 祝好 Leonard Xu > 在 2020年7月22日，20:46，酷酷的浑蛋 写道： > > 我找到问题了，我觉得我发现了一个bug，很严重，会导致flink持续占资源，一直增加 > > > > > 在2020年07月22日 14:08，酷酷的浑蛋 写道： > 这是我的启动命令：./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c > com.x

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi，首维， Ran 感谢分享， 我理解1.11新的API主要是想把 Table API 和 DataStream API 两套尽量拆分干净, 但看起来平台级的开发工作会依赖DataStream的一些预处理和用户逻辑。 我觉得这类需求对平台开发是合理，可以收集反馈下的， cc: godfrey 祝好 Leonard Xu > 在 2020年7月22日，13:47，刘首维 写道： > > Hi JingSong, > > 简单介绍一下背景，我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行，

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Congratulations! Thanks Dian Fu for the great work as release manager, and thanks everyone involved! Best Leonard Xu > 在 2020年7月22日，14:52，Dian Fu 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.11.1, which is the first bugfix rel

Re: flinksql1.11中主键声明的问题

user-zh" > 主题: Re: flinksql1.11中主键声明的问题 > > > > Hello > 你说的输出结果更新，是指之前关联的维表时老数据，过了一段时间，这个数据变，之前输出的历史也希望更新吗？维表join的实现，只有事实表中才会有retract消息才会更新，才会传递到下游，维表的数据是事实表 > 去look up该表时的数据，维表的更新是不会retract之前的历史记录的。 > > 祝好 > Leonard Xu > > > > 在 2020年7月22日，14:13，1129656...@qq.com 写道： > > > > 输出结果仍然没有被更新

Re: flinksql1.11中主键声明的问题

Hello 你说的输出结果更新，是指之前关联的维表时老数据，过了一段时间，这个数据变，之前输出的历史也希望更新吗？维表join的实现，只有事实表中才会有retract消息才会更新，才会传递到下游，维表的数据是事实表 去look up该表时的数据，维表的更新是不会retract之前的历史记录的。 祝好 Leonard Xu > 在 2020年7月22日，14:13，1129656...@qq.com 写道： > > 输出结果仍然没有被更新

Re: flink1.11 sql

Hi 必须可以呢，参考[1] Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/hive/hive_functions.html <https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/hive/hive_functions.html> > 在 2020年7月22日，12:14，Dream-底限 写道： > >

Re: flinksql1.11中主键声明的问题

Hi, 你这还是connector的with参数里不是新 connector的写法[1]，会走到老代码，老代码不支持声明PK的。 在老代码里，PK是通过query推导的，你用inner join替换left join后，应该是能够推断出PK了，所以没有报错。 我理解你把connector的with参数更新成新的就解决问题了。 Best Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html#connector-options

Re: flink-1.11 ddl kafka-to-hive问题

HI, Hive 表时在flink里建的吗？ 如果是建表时使用了hive dialect吗？可以参考[1]设置下 Best Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/hive_dialect.html#use-hive-dialect <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/hive_dialect.html#use-hive-dialect>

Re: flink解析kafka json数据

Hi, 我理解应该做不到，因为这两个format参数在format里就做的。 json.ignore-parse-errors 是在 format解析时跳过解析失败的数据继续解析下一行，json.fail-on-missing-field 是标记如果字段少时是否失败还是继续(缺少的字段用null补上） 这两个不能同时为ture，语义上就是互斥的。 Best Leonard Xu > 在 2020年7月21日，16:08，Dream-底限 写道： > > json数据，在创建表的时候发现json数据解析的时候有下面两项，这两项如果开启那么解析失败的数据是会被丢掉吗

Re: flink1.11启动问题

Hi， > 在 2020年7月20日，20:15，酷酷的浑蛋 写道： > > 1. flink1.11解压后，启动会报： > java.lang.NoClassDefFoundError: com/sun/jersey/core/util/FeaturesAndProperties 第一步就报错，应该是你本地环境问题，后面加的包应该都是不需要的，你本地用的JDK版本是多少呀？ 祝好 Leonard Xu

Re: flink1.11启动问题

Hi, 看起来像是依赖冲突问题，报错信息看起来是classpath加载到了两个相同的jar, javax.ws.rs-api-2.1.1.jar 这个jar包是你集群需要的吗？ 可以把你场景说细点，比如这个问题如何复现，这样大家可以帮忙一起排查 祝好， Leonard Xu > 在 2020年7月20日，15:36，酷酷的浑蛋 写道： > > > > Flink1.11启动时报错： > java.lang.LinkageError: ClassCastException: attempting to > castjar:file

Re: flink-1.11 ddl 写入json 格式数据到hdfs问题

是的 感谢反馈，文档里单位问题，分钟对应的是 min > 在 2020年7月17日，17:26，kcz <573693...@qq.com> 写道： > > tks解决了，有一个小问题，文档写了30m,但是代码实际不支持m来代表分钟 > > > > > > > -- 原始邮件 -- > 发件人: >

Re: flink 1.11 checkpoint使用

Hi， 曹武 这是一个已知bug，这个在1.11.1和1.12.0里已经修复， 如果着急使用，可以自己编译下release-1.11分支。 祝好 Leonard Xu https://issues.apache.org/jira/browse/FLINK-18461 <https://issues.apache.org/jira/browse/FLINK-18461> > 在 2020年7月17日，17:12，曹武 <14701319...@163.com> 写道： > > 感觉好像是应为从checkpoint启动失败或者是chec

Re: flink 1.11任务提交的问题

Hi， 我理解目前好像做不到， cc: godfrey 大佬看看 祝好， Leonard Xu > 在 2020年7月16日，23:08，sunfulin 写道： > > hi， > 请教下flink 1.11任务提交的问题。如果我的一个作业里既有sql > dml提交（executeSQL执行），又通过DataStream.addSink来写出， > 通过StreamExecutionEnvironment.execute提交，yarn > per-job貌似会提交两个作业。这种情况下，我该如何处理呢？只想提交一个作业。

Re: 退订

Hi, 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org <mailto:user-zh-unsubscr...@flink.apache.org> 取消订阅来自 user-zh@flink.apache.org <mailto:user-zh@flink.apache.org> 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu https://flink.apache.org/community.html#how-to-subscribe-to-a-

Re: 退订

Hi, 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list <https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-l

Re: FlinkSQL 是通过怎样的机制找到要执行的 Java 代码的呢？

Hi, > 在 2020年7月16日，19:04，wangl...@geekplus.com.cn 写道： > > 我的理解肯定要有一个地方指明 debezium-json 要对应到 DebeziumJsonFormatFactory， 但是我 grep > 代码没找到类似的关系映射配置。 你DDL中不是写了 ‘format’ = ‘debzium-json’ 吗？就是这里指明的。

Re: flink sql 1.11 create hive table error

Hello, Zach 是的, 1.12 会支持，PR[1]已经开了，在review中。 祝好， Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18588 <https://issues.apache.org/jira/browse/FLINK-18588> > 在 2020年7月16日，12:07，Zhou Zach 写道： > > Hi all, > flink sql 1.11 create table 是不是 不支持 IF NOT EXISTS >

Re: flink 1.11 upsert结果出错

> 在 2020年7月16日，11:44，小学生 <201782...@qq.com> 写道： > > t_env.execute_sql('''delete from source_tab where trck_id='aew'  ''') 你这张表定义的是 Flink 中的表，这张表对应的是你外部系统(MySQL数据库)中的表，Flink 不支持 表上 的DELETE [1]， Flink 是一个计算引擎, 主要场景是读取、写入外部系统，修改外部系统的数据目前只发生在写入（insert）的时候，并且主要是为了保证数据一致性语义，需要往下游系统发Delete消息， 这个delet

Re: flink 1.11 upsert结果出错

Hi， 我理解 pyflink 底层也会走到你看到的java代码, 我对 pyflink 不是很熟， cc xingbo 补充下。 祝好 Leonard Xu > 在 2020年7月16日，11:04，小学生 <201782...@qq.com> 写道： > > 各位大佬好，由于不是特别懂java,所以麻烦问下pyflink里面有相关mysql的delete吗，官网没看到，谢谢！

Re: flink 1.11 sql类型问题

Hello json解析UTC时间是支持的，你with参数里指定下json中timestamp的类型试下， json.timestamp-format.standard = 'ISO-8601' Best Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/formats/json.html#json-timestamp-format-standard <https://ci.apache.org/project

Re: flink 1.11 upsert结果出错

Hi， 基本类似的，具体拼delete sql会根据 pk 来, 可以看下delete executor的代码[1] 祝好， Leonard Xu 【1】https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/internal/executor/BufferReduceStatementExecutor.java#L89 <https://github.com/apache/fl

Re: flink1.11.0 java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

Hi, 两个kafka connector是会冲突的，还有一点是 SQL client 里应该用 sql 的connector依赖吧， flink-sql-connector-kafka_2.12-1.11.0.jar 祝好， Leonard Xu > 在 2020年7月15日，10:56，Paul Lam 写道： > > Hi, > > 看起来是 Kafka connector class 冲突了，flink-connector-kafka_2.12-1.11.0.jar 和 > flink-connector-kafka-0.10_2

Re: flink1.11 sink hive error

metastore 祝好， Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#connecting-to-hive <https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#connecting-to-hive> > 在 2020年7月14日，20:29，Zhou Zach 写道： > > Hi， > >

Re: flink-1.11 DDL 设置chk目录问题

Hi， 没有太理解在DDL中设置，TableConfig上也可以设置 StreamEexecutionEnvironment 的 配置，你要的是这个吗？ tableEnv.getConfig().getConfiguration().set(CHECKPOINTS_DIRECTORY, "your-cp-path"); 祝好， Leonard Xu > 在 2020年7月14日，18:56，kcz <573693...@qq.com> 写道： > > 目前我只会设置streameEnv.setStateB

Re: flink1.11 sink hive error

Hello > 在 2020年7月14日，19:52，Zhou Zach 写道： > > : Embedded metastore is not allowed. Flink 集成 Hive 时，不支持 embedded metastore 的, 你需要起一个hive metastore 并在conf文件配置 hive.metastore.uris, 支持的 metastore 版本 参考[1] Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, 看了下代码，Stream 模式 确实有这个问题， batch 没有，原因是： CollectStreamTableSink 实现的是 TupleTypeInfo> getOutputType() CollectBatchTableSink 实现的是 DataType getConsumedDataType() 刚刚搜了下，社区有个 issue [1] 在彻底解这个问题，Godgrey 已经开PR了，这应该会把这两个CollectSink都去掉，使用 TableResult#collect()来收集数据。 Best， Leonard Xu [1] ht

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, 前面邮件图都挂了，理论上 SQL Client 都是会强转的，可以发个图床链接上或者贴下可以复现的代码吗？ 祝好 > 在 2020年7月14日，18:21，wldd 写道： > > Hi， > batch模式用的不是用的legacy 的数据类型么，batch模式并没有对decimal进行强转 > > > > > > -- > Best， > wldd > > > 在 2020-07-14 18:08:41，"Leonard Xu" 写道：

Re: flink 1.11 upsert结果出错

是的，目前是更新相同pk的记录，如果需要统计相同pk的记录， Flink表不声明PK就是append 写入，就会有写入多条记录，(DB里的表也不声明pk，不然insert会报错)。 祝好 > 在 2020年7月14日，18:21，小学生 <201782...@qq.com> 写道： > > 嗯嗯，谢谢大佬的解答，还有一个问题就是sql自己的语法是支持增量式的比如score=score+1,现在flink1.11特性反应成数据库 upsert > SQL的方式，其实是全量的更新同Pk的记录吧，并达不到增量的情况吧。

Re: flink 1.11 upsert结果出错

Hello, > 在 2020年7月14日，17:56，小学生 <201782...@qq.com> 写道： > > ON DUPLICATE KEY UPDATE 这个语法 Flink 还不支持的，官网上说的 Flink 的 JDBC connector 实现 幂等写入[1]的方式，就是有相同pk的数据在写入数据库时，翻译成数据库 upsert SQL的方式，这里说的语法是数据库的 SQL 语法 。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-r

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, SQL client 读取mysql的部分想当于一个connector, 这个connector只支持 DECIMAL（38，18）的，所有DECIMAL（p, s）都会转到这个类型，这是因为SQL Client还是用的legacy 的数据类型。 你可以用其他 connector 如 Filesystem、Kafka等connector读取， 社区已经有一个issue[1] 在跟进了。 祝好， Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-17948 <ht

Re: 退订

Hi 打错了，发送任意邮件到 dev-subscr...@flink.apache.org <mailto:dev-subscr...@flink.apache.org> 即可订阅来自dev <mailto:d...@flink.apache.org>@flink.apache.org <mailto:d...@flink.apache.org>的邮件 祝好， Leonard Xu > Hi, > 类似的，发送任意邮件到 dev-subscr...@flink.apache.org > <mailto:dev-dig

Re: 退订

我想问下，想加入flink dev邮件组应该怎么操作呢？ > > Leonard Xu 于2020年7月14日周二 下午5:00写道： > >> 你好， >> >> 退订来自user-zh 邮件组的邮件， 请发任意消息到 这个邮箱：user-zh-unsubscr...@flink.apache.org >> <mailto:user-zh-unsubscr...@flink.apache.org> 即可退订 >> >> 退订其他邮件可以参考[1] >>

Re: 不能实时读取实时写入到 Hive 的数据

Hi, wanglei 这个参数 'sink.partition-commit.delay'='1 h’会在cp 完成后 + 你设置的1h delay后才会提交 hive 的分区已完成信息(通过metastore或success文件). 你看下夏帅贴的邮件，检查下 checkpoint 和 partition-commit的设置 祝好, Leonard Xu > 在 2020年7月14日，16:59，夏帅 写道： > > 你好, > 可以参考下这个问题的解决 > http://apache-flink.1474

Re: 退订

你好， 退订来自user-zh 邮件组的邮件， 请发任意消息到 这个邮箱：user-zh-unsubscr...@flink.apache.org 即可退订 退订其他邮件可以参考[1] 祝好 [1] https://flink.apache.org/community.html#mailing-lists > 在 2020年7月14日，16:55，李国鹏 写道： > > 退

Re: 不能实时读取实时写入到 Hive 的数据

HI, wanglei 你开启了 streaming-source.enable 吗？这个参数用于指定如何读取是batch读，还是stream读，如果你要实时读的话应该把这个值设定为true, 可以使用tablehints 方便地指定参数。 SELECT * FROM hive_table /*+ OPTIONS('streaming-source.enable'='true', 'streaming-source.consume-start-offset'='2020-05-20') */; 就在你

Re: Flink SQL处理Array型的JSON

Hello，可爱的木兰 可以不用改json的，可以用 UNNEST 把数组拆成多行，也可以写UDTF自己解析对应字段，参考[1] SELECT users, tag FROM Orders CROSS JOIN UNNEST(tags) AS t (tag) Best， Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/sql/queries.html <https://ci.apache.org/projects/flink/flink-docs-mas

Re: flink 同时sink hbase和hive，hbase少记录

Hi, > 在 2020年7月14日，09:52，Zhou Zach 写道： > >>> | CONCAT(SUBSTRING(MD5(CAST(uid AS VARCHAR)), 0, 6), >>> cast(CEILING(UNIX_TIMESTAMP(created_time)/60) as string), sex) as uid, 看下这个抽取出来的rowkey是否有重复的呢？ 祝好， Leonard Xu

Re: flink 同时sink hbase和hive，hbase少记录

ector里支持的参数为’connector’ = ‘hbase-1.4’, 因为hbase 1.4.x版本API是兼容的，另外社区也在讨论支持HBase 2.x[1] Best, Leonard Xu [1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Upgrade-HBase-connector-to-2-2-x-tc42657.html#a42674 <http://apache-flink-mailing-list-archive.1008284.n3.nabble.

Re: flink 1.11运算结果存mysql出错

Hi，知道了 source.execute_insert("g_source_tab”) 返回的结果是一个TableResult对象，如果不显示地等待任务的执行，这个任务会直接返回，你试下这个 result.execute_insert("g_source_tab") \ .get_job_client() \ .get_job_execution_result() \ .result() 这是Flip-84引入的一个改动，为了更好地处理table程序的返回值。 祝好， Leonard Xu > 在 2020年7月13日

Re: 使用Flink Array Field Type

Hi, SQL 中数据下标是从1开始的，不是从0，所以会有数组越界问题。建议使用数组时通过 select arr[5] from T where CARDINALITY(arr) >= 5 这种方式防止数组访问越界。 祝好， Leonard Xu > 在 2020年7月13日，20:34，叶贤勋 写道： > > test_array_string[0]

Re: flink 1.11 on k8s native session cluster模式报找不到configmap

Hi, zhai 可以贴详细点吗？我帮你 CC 了熟悉这块的大佬 Yun Gao 祝好 > 在 2020年7月13日，20:11，Yvette zhai 写道： > > 报错是MountVolume.SetUp failed for volume "flink-config-volume" : configmap > "flink-config-k8s-session-1" not found > > > Leonard Xu 于2020年7月13日周一 下午8:03写道： > >

Re: flink 1.11运算结果存mysql出错

Hi, 简单看了下代码应该没啥问题，alarm_test_g 这个kafka topic里有数据吗？可以检查下是否有脏数据，直接用./bin/kafka-console-consumer.sh 检查下？我有点怀疑这点 Best, Leonard Xu > 在 2020年7月13日，20:06，小学生 <201782...@qq.com> 写道： > > 各位大佬好，请教一个问题flink从Kafka读数，写入mysql，程序没有报错，但是没有写入mysql任何数据。代码如下，是在linux下，直接python > *.py执行的。完

Re: flink 1.11 on k8s native session cluster模式报找不到configmap

Hi, zhai 图挂了。。可以整个图床工具贴出来，如果是异常直接贴文本也可以的。 Best, Leonard Xu > 在 2020年7月13日，19:59，Yvette zhai 写道： > > 大佬们，请教个问题，我是在k8s上部署flink1.11 natvie session模式。 > 下载的flink-1.11.0-bin-scala_2.11.tgz > > 执行命令是 > ./bin/kubernetes-session.sh \ > -Dkubernetes.

Re: flink任务checkpoint无法完成snapshot，且报kafka异常

> 反馈一下，如果有朋友遇到类似的问题，可以参考，给这个问题做一个闭环。谢谢各位的关注和帮忙。 > > Best, > Zhefu 谢谢 zhefu, 给你大大点赞，很社区的方式，相信这样的积累越多，小伙伴们都能学习到更多。 祝好， Leonard Xu > > LakeShen 于2020年6月12日周五 上午9:49写道： > >> Hi ZheFu, >> >> 可以把你的 Flink 版本说一下，我大致理解是这样的，每次 sink 端 在 snapshotState 的

Re: flink 1.11 es未定义pk的sink问题

HI，fulin 如 Yangze所说，这是es6 new connector 引入的一个bug, 你可以使用用old connector的语法绕过，就是connector.type=’xx’ ，这样代码路径还走之前的代码, 或者使用es7 nconnector。 祝好， Leonard Xu > 在 2020年7月13日，17:19，Yangze Guo 写道： > > 验证了一下，这确实是一个bug，原因出在这一行[1]。我会提一个ticket来解决它，争取在1.11.1修复。 > > [1] > https://githu

Re: flink使用debezium-json format报错

Hi, 这是 changgelog 里的一个bug[1], 在1.11.1和master上已经修复，1.11.1社区已经在准备中了。 Best, Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18461 <https://issues.apache.org/jira/browse/FLINK-18461> > 在 2020年7月13日，16:20，曹武 <14701319...@163.com> 写道： > > log4j:WARN No appenders coul

Re: flink sql报错 Could not find any factory for identifier 'kafka'

-1.2-api-2.12.1.jar > -rw-r--r-- 1 hadoop hadoop276771 7月 8 10:09 log4j-api-2.12.1.jar > -rw-r--r-- 1 hadoop hadoop 1674433 7月 8 10:09 log4j-core-2.12.1.jar > -rw-r--r-- 1 hadoop hadoop 23518 7月 8 10:09 > log4j-slf4j-impl-2.12.1.jar > > Leonard Xu 于2020年7月13日周一 下午3

Re: flink sql报错 Could not find any factory for identifier 'kafka'

] 中的话是有SQL Client JAR 的下载链接，就是 flink-sql-connector-kafka_${scala.binary.version jar 包的下载链接，你看一看下。 祝好 Leonard Xu > 在 2020年7月13日，14:42，王松 写道： > > @Leonard Xu， > 非常感谢您的回复，我试了试您说的方式，还是报同样的错误，另外，我在 [1] > 中并没有看到关于flink-sql-connecter-kafka相关的信息重新的pom如下： > > [1] > https://ci.a

Re: flink 1.11 es未定义pk的sink问题

Hello, fulin 这个问题能提供段可以复现的代码吗？ 祝好， Leonard Xu > 在 2020年7月13日，09:50，Yangze Guo 写道： > > Hi, > > 如果没有定义主键，ES connector 会把 _id设为null[1]，这样ES的Java Client会将_id设为一个随机值[2]. > 所以应该不会出现您说的这种情况。您那里的ES有没有请求日志之类的，看一下Flink发过来的请求是什么样的。 > > [1] > https://g

Re: flink sql报错 Could not find any factory for identifier 'kafka'

Hi, 王松 这个报错是pom中缺少了 Kafka SQL connector的依赖，你引入的依赖都是Kafka datastream connector 的依赖，正确的依赖是：flink-sql-connector-kafka-${version}_${scala.binary.version} 可以参考官网文档[1], 查看和下载SQL Client Jar. 另外， Kafka SQL connector 和 Kafka datastream connector 同时引用是会冲突的，请根据你的需要使用。 祝好， Leonard Xu [1]https

Re: flink1.10.1 flink sql消费kafka当parallelism大于1时不产生watermark

Hi， 可以先看下 Kakfa topic 对应的partition有几个？是否每个分区都有数据。 祝好， Leonard Xu > 在 2020年7月13日，11:46，wind.fly@outlook.com 写道： > > Hi, all： > 本人使用的flink版本为flink 1.10.1， flink sql消费kafka， > 当parallelism为1时正常运行，但讲parallelism修改为2时，在yarn-session > web页面看不到watermark的指标信息了，也没有计算结果输出，sq

Re: flink sql连接HBase报错

hello， 这应该是碰到了Hbase connector的bug [1], 用户配置的hbaseconf 相关的参数，如connector.zookeeper.quorum 不会生效，这个 bug 在1.11.0 已经修复，可以升级下版本。 在1.10.0版本上一种 walkwaround 的方式是把把这些参数放在 hbase-site.xml 的配置文件中，然后将把配置文件添加到 HADOOP_CLASSPATH中，这样Flink程序也可以加载到正确的配置。 祝好， Leonard Xu [1] https://issues.apache.org/jira/browse

Re: flink 1.11 sql作业提交JM报错

, 这应该不是用户需要的。 具体使用根据你的需要来使用。 Best, Leonard Xu > 在 2020年7月11日，22:24，sunfulin 写道： > > statementset.execute

Re: 退订

Hello, 退订邮件组的邮件，可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list <https://flink.apache.org/community.html#how-to-subscribe-to-a-mail

Re: flink 写入es失败导致数据丢失

Hi， 我理解作业应该失败才对，你本地可以复现吗？可以复现的话可以在社区建个issue。 Best, Leonard Xu > 在 2020年7月10日，11:20，sunfulin 写道： > > ，但是作业确实没失败。

Re: flink1.10升级到flink1.11 提交到yarn失败

${flink.version} 放在一起是会冲突的，flink-sql-connector-kafka_2.11 shaded 了kafka的依赖， flink-connector-kafka_2.11 是没有shade的。 你根据你的需要，如果是SQL 程序用第一个， 如果是 dataStream 作业 使用第二个。 祝好， Leonard Xu > 在 2020年7月10日，11:08，Shuiqiang Chen 写道： > > Hi， > 看样子是kafka table source没有成功创

Re: flink 写入es失败导致数据丢失

Hello, fulin > es服务挂掉时，这段时间写入es失败，但是没有积压，而是数据丢失了。这个应该不符合预期。想问下可能是啥原因造成的。 es 服务挂掉是指es 集群不可用吗？那这时应该是写入es应该失败，作业也会失败，你说的没有积压是指什么呢？ Best Leonard Xu

Re: flink 1.10 sql kafka format json 定制schema时, 一个字段的数据可以定义为类似json object不？

，fail-on-missing-field 默认关闭的， 另外一种推荐你把复杂的字段在上游就转义成一个String放到json的一个field中，这样Flink解析出来就是一个String, 然后query里用UDTF处理。 祝好 Leonard Xu > 在 2020年7月10日，10:16，Peihui He 写道： > > Hello， > > 实际上，我也并不太关心这个字段的内容，能按string 保存下来就好了。 > > Best wishes. > > Peihui He 于2020年7月1

Re: flink 1.11 中cdc功能中，使用flink sql来操作一个kafka topic中的多张表，并保证有序？

如果是同一个数据库（集群）的表，gtid应该是全局唯一且递增的，用gtid是更好的，异构的数据源就没有一个全局的id了，你可以试下. ^_^ 祝好 > 在 2020年7月8日，15:32，jindy_liu <286729...@qq.com> 写道： > > 如果用变更时间来有序，可能会有一个问题，是如果数据变更太快了，两条先后数据的时间可能是一样的？ > > 这个问题不知道是不是可以用bin-log的gtid来搞？至少是递增的? > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 1.11 中cdc功能中，使用flink sql来操作一个kafka topic中的多张表，并保证有序？

理这个数据, 可以看下 一些CDC框架是否能做这个事情。 Best, Leonard Xu > 在 2020年7月8日，13:18，jindy_liu <286729...@qq.com> 写道： > > 对的，只不过生产中，有些设计的时候外键没有显示声明，都是用流程保证更新表的顺序。 > 所以消费数据变化的时候，也是要按顺序消费。不然使用镜像数据的人，可能会出问题。 > > 求教：除flink sql 的cdc功能外，flink的其它特性能否较好的支持这种场景呢？ 需要写再底层点的api吗？ > > >

Re: flink 1.11 中cdc功能中，使用flink sql来操作一个kafka topic中的多张表，并保证有序？

Hello, 我理解下你场景：d1的 test 表 和 status 表两者之间有关联，比如外键，比如 test 更新一条数据后 status也需要级联地更新一条数据。 希望通过 Flink 的CDC功能同步这两张表到db2后，任意时刻，这两张表的状态是原子的（两张表对应 d1中两张表的一个快照版本）， 是这种场景吗？ 如果是这种场景，现在是还没有支持的。 Best, Leonard Xu > 在 2020年7月8日，11:59，Jark Wu 写道： > > Hi, > > 我想先问一下你使用的是刚发布的 1.11.0 版本吗？ 还是自己

Re: FlinkKafkaProducer没有写入多个topic的功能

Hi, 夏帅的方案是ok的，因为Kafka 默认支持写入topic不存在时自动创建[1], 这个配置是默认开启的，所以只用实现下自定义KafkaSerializationSchema就可以满足你的需求。 祝好， Leonard Xu [1] https://docs.confluent.io/current/installation/configuration/broker-configs.html#auto.create.topics.enable <https://docs.confluent.io/current/installation/configurat

Re: flink 1.11 connector jdbc 依赖解析失败

Hello, 我看下了maven仓库里有的[1], 官网文档里也有下载链接[2]，是不是pom里的依赖没有写对？1.11 jdbc connector 的module名从 flink-jdbc 规范到了 flink-connector-jdbc。 祝好， Leonard Xu [1] https://repo.maven.apache.org/maven2/org/apache/flink/flink-connector-jdbc_2.11/1.11.0/ <https://repo.maven.apache.org/maven2/org/apache/flink/fl

Re: 嵌套 json 中string 数组的解析异常

Hi, 看了下代码，这确实是Flink 1.9里面的一个bug[1], 原因没有 source 没有正确处理legacy type 和新的 type，这个issue没有在1.9的分支上修复，可以升级到1.10.1试下。 祝好， Leonard Xu [1]https://issues.apache.org/jira/browse/FLINK-16622 <https://issues.apache.org/jira/browse/FLINK-16622?focusedCommentId=17061790&a

Re: 嵌套 json 中string 数组的解析异常

Hi, 方便把 SQL 也贴下吗？看起来像个bug。 祝好， Leonard Xu

Re: flink kafka connector中获取kafka元数据

嗯，这个在FLIP-107里会支持，目前没法拿到这些meta数据，可以关注下FLIP-107的进展。 Best, Leonard Xu > 在 2020年7月7日，17:26，Dream-底限 写道： > > hi > 是的，想以下面这种方式获取 > > CREATE TABLE MyUserTable (key string,topic string,,以及其他的数据字段) WITH > ('connector.type' = 'kafka','connector.versi

Re: flink kafka connector中获取kafka元数据

Hi, kafka元数据 是指kafka记录里的 meta数据吗？ 比如kafka自带的timestamp，kafka的key信息。 如果是这些信息的话， Table/SQL API 目前还没办法拿到， FLIP-107[1] 会支持这个事情。 祝好， Leonard Xu [1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records <https://cwiki.apache.

Re: flink sql 读写写kafka表的时候可以指定消息的key吗

Hi, 目前还不支持的，社区有一个 FLIP-107[1] 在计划做这个事情。 祝好， Leonard Xu [1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-107%3A+Reading+table+columns+from+different+parts+of+source+records#FLIP107:Readingtablecolumnsfromdifferentpartsofsourcerecords-Kafka:ETL:read,transformandwritebackwithkey

Re: Flink SQL复杂JSON解析

Hi, Schema 里可以声明成array, 推荐有拆成多行数据的需求用UDTF处理，现在source里是没看到有拆分多行的实现。 Best, Leonard Xu > 在 2020年7月6日，21:28，王 outlook 写道： > > TableFunction这个UDTF

Re: Flink SQL 关键字 user？

Hi， 是的，用`user`转义处理下， 完整的保留关键字参考[1] Best, Leonard [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/ > 在 2020年7月6日，17:06，王 outlook 写道： > > "CREATE TABLE ods_foo (\n" + > "id INT,\n" + > "user

Re: flink 1.10 kafka collector topic 配置pattern

Hello 我了解到社区有人在做了，1.12 应该会支持 祝好 Leonard Xu > 在 2020年7月3日，16:02，Peihui He 写道： > > hello > > 请教大家，flink 1.10里面kafka connector 不能配置topic pattern，后续会支持吗？ > > best wishes

Re: flink1.10 用flinksql 写hbase，报错：UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

Hello, 你试下 MD5(real_income_no) as rowkey 放在query的里层，最外层的group by直接用 rowkey试下， Flink 1.11 之后支持在 table里声明 PK, 1.11后就不用推导了。 祝好， Leonard Xu > 在 2020年7月1日，13:51，tiantingting5...@163.com 写道： > > MD5(real_income_no) as rowkey,

Re: 来自boss_大数据开发_史文龙的邮件

Hello 如果要取消订阅 FLink中文社区的邮件，直接发送任意内容的邮件到 user-zh @flink.apache.org 即可，邮件的取消和订阅可以参考[1] 祝好 [1] https://flink.apache.org/community.html#mailing-lists > 在 2020年7月1日，17:35，bos

Re: flink sql cli 读取 hbase表报错

Hello, 这应该是一个已知bug[1]，原因是Configuration是不可序列化的，HbaseRowInputFormat中没有正确处理，导致用户DDL中的zk配置无法传递。 在flink1.11和1.12上已经修复。如果是1.10.x版本中，可以将HBase 的配置文件（hbase-default.xml、 hbase-site.xml) 添加到 classpath下，也可以把 HBase 的配置文件添加到HADOOP_CLASSPATH(flnk启动脚本会检查HADOOP_CLASSPATH环境变量并加载)，两种方式Flink集群和SQL Client都能加载到Hbase的

Re: 无法生成rowtime导致在window失败

Hi, > field("logictime","TIMESTAMP(3)”) 报错的原因这个字段在你原始的表中不存在的，理解你的需求是你想用 field evitime（Long型）生成一个新的 field logictime(TIMESTAMP(3))，这个可以用计算列解决，Table API上还不支持计算列，1.12 已经在开发中了。你可以用 DDL 加计算列完成满足你的需求，参考[1] create table test ( acct STRING, evitime BIGINT, logictime as TO_TIMESTAMP(FROM_UNIXTIME(evi

Re: flink sql row类型group by

你的query又需要ROW(c, d) 复合类型, 不太好改写。想到hack一点的方式就是把c，d 拼接成一个字段c${delimeter}d，ROW(c, d) 用UDF构造，感觉这种也比较绕。如果业务上不是强需求ROW(c, d)，又等不及1.11的话，可以在ES里多加一列就好了。 祝好， Leonard Xu

Re: flink sql row类型group by

toString()的结果可能不是我们想要的。 你可以试下下面的query，query keys 对应es中的 id 就是 commentId${keyDelimiter}commentContent, 这也应该是你需要的结果 Select ROW(commentId, commentContent) from T group by commentId, commentContent 祝好， Leonard Xu > 在 2020年6月28日，22:33，sunfulin 写道： > > > > > > > >

Re: flink sql 中值为null时结果都为 false

Hello 更新下，社区这个 issue（FLINK-18164 <https://issues.apache.org/jira/browse/FLINK-18164>）和 Benchao 讨论后关闭了，因为当前Flink在处理 null 的行为是正确的，所以建议处理 null 时，都用 IS NULL , IS NOT NULL 先做下过滤再做逻辑判断，一般SQL里面也是这样处理的。 祝好， Leonard Xu > 在 2020年6月7日，17:22，Leonard Xu 写道： > > Hi, > Flink 用Calcite做sq

Re: 【Flink SQL对于NULL在不等时候的处理】

> 社区之前有个issue[1]在跟进这个问题, 在此之前建议处理 null 时，都用 IS NULL , IS NOT NULL > 先做下过滤再做逻辑判断，一般SQL里面也是这样处理的。 > > 祝好, > Leonard Xu > [1] https://issues.apache.org/jira/browse/FLINK-18164 > <https://issues.apache.org/jira/browse/FLINK-18164> > 更新下，社区这个 issue（FLINK-18164 &

Re: 【Flink SQL对于NULL在不等时候的处理】

t; ‘hello’ 返回false，看你条件是过滤false的话，那么null值就会被过滤掉. 社区之前有个issue[1]在跟进这个问题, 在此之前建议处理 null 时，都用 IS NULL , IS NOT NULL 先做下过滤再做逻辑判断，一般SQL里面也是这样处理的。 祝好, Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18164 <https://issues.apache.org/jira/browse/FLINK-18164> > 在 2020年6月25日，

Re: Flink可以用Canal对接Oracle么？

Hello Flink 1.11 会支持了读取CDC的功能，支持接入canal和debezuim的format的，1.11快要发布了，这是文档[1],可以参考。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html>

Re: FlinkSQL 是否支持类似临时中间表的概念

Hi Chenxuying 是想在计算列中使用udtf, 现在的计算列只支持udf， 不支持udtf, 目前还做不到的。 祝好， Leonard Xu > 在 2020年6月24日，18:06，Weixubin <18925434...@163.com> 写道： > > > > > 感谢 Leonard Xu 与 Jark 两位，已成功解决满足需求！ > 对于 chenxuying 所提出的问题，我也很感兴趣。 > 由于使用UDF重复解析

Re: FlinkSQL 是否支持类似临时中间表的概念

Hello， 你的需求其实是要 抽取记录的字段定义watermark， 这个只能放到source 表的DDL中，view上也不支持的。 1.10里的计算列 + udf 应该就可以满足你的需求, 大概长这样： CREATE TABLE sourceTable ( request_uri STRING, ts as extractTsUdf(request_uri), WATERMARK FOR ts AS ts - INTERVAL '5' SECOND ) WITH ( .. ); select ... from ( select ts, T.* from

Re: FlinkSQL 是否支持类似临时中间表的概念

T( )….·，外层是 group by, 插入最终的结果表就能满足需求了吧。 祝好， Leonard Xu > 在 2020年6月23日，15:21，Weixubin <18925434...@163.com> 写道： > > > > > Hi， > 关于这句 “把 ` select * from sourceTable , LATERAL TABLE(ParseUriRow(request_uri)) > as T( )….` 这段 sql insert 到中间结果表 和 group后再写入最终结果表就可以了”

Re: FlinkSQL 是否支持类似临时中间表的概念

间结果表 和 group后再写入最终结果表就可以了。效果和使用 VIEW 应该类似，因为 planner 会做分段优化。 另外建议使用1.10.1版本，1.10.1在1.10的基础上修复了不少bug，也可以等1.11发布了试用下1.11。 祝好， Leonard Xu

Re: FlinkSQL 是否支持类似临时中间表的概念

Hi, > 在 2020年6月23日，10:49，Weixubin <18925434...@163.com> 写道： > > //这个时候我希望能够创建一张临时中间表 tempTable用来存放 对Source表中数据拆分为多列后的结果，类似于下面这样（Flink > 并不支持这么做） 看着描述应该是源数据中的一行拆成多行。这个需求是不是用 VIEW 就可以了[1]？Flink SQL 支持 VIEW 语法的[1]。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink

Re: flinksql

Hi, 这个报错通常是缺少了 connector 相关的jar包，或者 connector 的with参数填写错误。 > flink sql-client下建的表 这是什么表，可以把建表 SQL 发出来看看吗？ Best, Leonard Xu

Re: Flink SQL 1.10.0窗口计算结果无法sink

Hi, pravega connector[1] 应该不是社区提供的，之前没看过这个connector的代码, 看你的描述，可以检查下写入时是否有一些参数需要设置。 祝好， Leonard Xu [1] https://github.com/pravega/flink-connectors <https://github.com/pravega/flink-connectors> > 在 2020年6月19日，13:31，王超 <1984chaow...@gmail.com> 写道： > > 各位大神求帮忙看一下。

<    1   2   3   4   5   >