Re: [ANNOUNCE] Yu Li is now part of the Flink PMC

Congratulations Yu ! Best, Leonard Xu > 在 2020年6月17日，09:50，Yangze Guo 写道： > > Congrats, Yu! > Best, > Yangze Guo > > On Wed, Jun 17, 2020 at 9:35 AM Xintong Song wrote: >> >> Congratulations Yu, well deserved~! >> >> Thank you~ >> >&

Re: flink sql 中怎么把ROW类型转换成INT

SELECT rowkey, family1.q1, family3.q4, family3.q6 FROM hTable; 这个文档正在编写当中，很快就可以在官网上看到。 祝好， Leonard Xu > 在 2020年6月16日，19:16，Yichao Yang <1048262...@qq.com> 写道： > > Hi > > > row类型是不能强转int的，可以找一下阿里云flink sql的文档，其中有介绍哪些数据类型可以互转。 > > > Best, &g

Re: flink sql 怎样将从hbase中取出的BYTES类型转换成Int

Hi, 看你有两个地方声明hbase的表， >|cf ROW(sex VARCHAR, age INT, created_time TIMESTAMP(3)) 这种方式应该是ok的， > users.addColumn("cf", "age", classOf[Array[Byte]]) 你这里为什么声明 age 的data type 为什么声明 classOf[Array[Byte]] ？ 是不是忘了修改了？ 这里使用 users.addColumn("cf", "age", classOf[Integer]) 应该就行了。 通过DDL 或者

Re: flink sql 怎样将从hbase中取出的BYTES类型转换成Int

Hi， 看起来是你query的 schema 和 table (sink) 的schema 没有对应上，hbase中的数据都是bytes存储，在 flink sql 中一般不需要读取bytes，读取到的数据应该是 FLINK SQL对应的类型，如 int, bigint，string等，方便把你的 SQL 贴下吗？ 祝好， Leonard Xu > 在 2020年6月15日，19:55，Zhou Zach 写道： > > > > > > Exce

Re: flink sql sink hbase failed

Hi > 在 2020年6月15日，15:36，Zhou Zach 写道： > > 'connector.version' expects '1.4.3', but is '2.1.0' Hbase connector只支持1.4.3的版本，其他不支持，但之前看有社区用户用1.4.3的connector写入高版本的case，你可以试下。 祝好 Leonard Xu

Re: flink sql DDL支持 Temporal Table 定义吗

ource 接口, 所以JDBC的表即可以作为维表也可以作为普通的源表，具体看你query中如何使用。 Best, Leonard Xu

Re: flink sql Temporal table join failed

你刚好踩到了这个坑，这是flink保留的关键字（time）转义的bug，1.10.1及之后的版本(即将发布的1.11)中修复了的。 祝好 Leonard Xu > 在 2020年6月12日，17:38，Zhou Zach 写道： > > > > > 是的，1.10.0版本 > > > > > > > > > 在 2020-06-12 16:28:15，"Benchao Li" 写道： >> 看起来你又踩到了一个坑，你用的是1.10.0

Re: flink TableEnvironment can not call getTableEnvironment api

是的，我代码贴错了， 你参考下下面的链接 > 在 2020年6月12日，11:55，Zhou Zach 写道： > > 感谢回复，不过，根据文档 > https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/joins.html > 只能用Blink planner吧 > > > > > > > > > > > > > > > > >

Re: flink TableEnvironment can not call getTableEnvironment api

tableEnvironment = StreamTableEnvironment.create(env, envSettings); Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/common.html#create-a-tableenvironment <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/common.html#create-a-tableenvironm

Re: FLINK SQL DDL写入hbase问题

会检查$HADOOP_CLASSPATH，能够加载到所需的jar。 > hbase-server > hbase-common > hadoop-common 不推荐在 pom 里这样引入hadoop 和 hbase 的 jar 包，这样依赖容易冲突。 Best, Leonard Xu > > 在2020年06月11日 14:39，Leonard Xu 写道： > Hi > 你服务器上是否配置了hadoop_classpath？ 建议hbase在试用时 用 hadoop_classpath + flink-hbase > jar，不然依赖问题

Re: BLinkPlanner sql join状态清理

Hi， 可以稳定复现吗？麻烦贴下flink版本和你的case, 我可以帮忙跟进确认下 Best， Leonard Xu > 在 2020年6月11日，14:30，op <520075...@qq.com> 写道： > > 大家好，最近发现一个问题 > 发现同一套代码，用oldPlanner设置IdleStateRetentionTime后join两边表的状态可以被定时清理，但是用blinkplanner同样的代码，运行却发现状态不会被清理，这是个bug吗？

Re: FLINK SQL DDL写入hbase问题

Hi 你服务器上是否配置了hadoop_classpath？ 建议hbase在试用时 用 hadoop_classpath + flink-hbase jar，不然依赖问题会比较麻烦。 祝好 Leonard Xu > 在 2020年6月11日，14:24，酷酷的浑蛋 写道： > > > > 在使用flink sql ddl语句向hbase中写的时候报如下错误： > java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/

Re: flink sql bigint cannot be cast to mysql Long

Hi, JDBC connector 之前不支持 unsigned 类型，unsigned 会比signed 类型更长。 bigint(20) unsigned（range is 0 to 18446744073709551615） 超过了 bigint （range is -9223372036854775808 to 9223372036854775807）的长度。 最新的代码已经修复这个问题了[1]，你可以等1.11发布后试用，或者编译下最新的代码，flink 中对应表 声明decimal(20, 0)处理。 祝好， Leonard Xu [1] https

Re: flink sql bigint cannot be cast to mysql Long

Hi, 用的 flink 版本是多少？ 数据库的字段确定是 bigint 类型吗？ > Caused by: java.lang.ClassCastException: java.math.BigInteger cannot be cast > to java.lang.Long java.math.BigInteger 的范围比 java.lang.Long的范围大很多，是不能cast的，应该是你数据类型对应错误了，可以把mysql 表的schema贴下吗？ 祝好， Leonard Xu > 在 2020年6月11日，13:22，Zhou

Re: 关于flinksql between问题

> > 非常感谢，使用的flink1.10.0 中流转成表是是否有字段的数目的限制 我把流转成表 我的流是一个封装的实体类 转换的时候没有这个字段数目的限制的，另外看你的字段也不是很多，一般业务上几百个字段都正常的，你检查下你字段的对应关系 祝好， Leonard Xu > tnv.registerDataStream("sqlStream",mysqlinst,'start_ip,'end_ip,'area_id,'unit_id,'device_id) > > tnv.registerDa

Re: flink sql 消费kafka失败

Hi, > Caused by: java.io.IOException: Failed to deserialize JSON object. 报错信息说了是 json 解析失败了，按照之前大家踩的坑，请检查下两点： （1）json 中timestamp数据的格式必须是"2020-06-10T12:12:43Z", 不能是 long 型的毫秒，社区已有issue跟进，还未解决 （2）kafka 对应topic 检查下是否有脏数据，“earliest-offset’” 会从topic的第一条数据开始消费 祝好 Leonard Xu

Re: 关于flinksql between问题

LookupSource的，也就是支持做维表，维表的更新的 connector.lookup.cache.ttl 参数控制维表中cache的过期时间，不知道是否满足你的需求。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/table/sql/queries.html#joins <https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/table/sql/queries.html#jo

Re: flink sql 通过计算列提取字段定义watermark后窗口计算没有结果输出

> 我删掉重建了一下kafka topic之后，结果就正常了。 这种可能是kafka topic里有脏数据，解析的时间戳不对，导致窗口没触发 > > > > > 在 2020-06-08 12:05:17，"xu yihan" 写道： > > 大家好， > > > 我遇到一个奇怪的问题，通过计算列提取出某一字段。定义为row_time的watermark， > 如下面原始字段为message，从中提取13位unix-timestamp，转成timestamp（3）再定义为watermark。 > > > 执行窗口计算不报错，但是无输出结果。 > > >

Re: Flink SQL create table 关键字 table 加反引号 解析失败

Hi， 1.10确实有这个bug, 这个问题在1.10.1中已经修复了，你可以使用升级到1.10.1，Benchao之前修了一个计算列相关的，我刚刚看不使用计算列也会有这问题，应该是在[1]中 jark wu 修复的。 Best， Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-16526 <https://issues.apache.org/jira/browse/FLINK-16526> > 在 2020年6月7日，15:32，macia kk 写道： > > 各位大佬，

Re: flink sql 中值为null时结果都为 false

pache/calcite/blob/master/core/src/main/java/org/apache/calcite/plan/RelOptUtil.java#L3462> Best, Leonard Xu > 在 2020年6月6日，11:45，Benchao Li 写道： > > 哇，非常赞！ > 我也查了一下，在SQL标准里，bool表达式是有三种value的[1]，分别是true、false、unknown。 > 而且null正常来讲是跟任何value都不相等的，包括另外一个null [2]。 > > 所以如果执行`SELEC

Re: flink sql ddl能设置ttl吗？

更新下，第二个问题，Flink sql-client中支持SET配置 TTL（ms）的： Flink SQL> set execution.min-idle-state-retention = 2; [INFO] Session property has been set. 祝好， Leonard Xu > 在 2020年6月5日，13:39，Leonard Xu 写道： > > Hi, > > 第一个问题，即将发布的1.11可以设定primary key, 不用再推断primary > key，除pk外的字段也

Re: flink sql ddl能设置ttl吗？

Hi, 第一个问题，即将发布的1.11可以设定primary key, 不用再推断primary key，除pk外的字段也没有限制，当前你可以加firt_value,last_value等函数取非group by的其他字段, jdbc的文档在撰写中了[1] 第二个问题，目前应该还不支持通过SET在DDL里设置ttl的. Best, Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-17829 <https://issues.apache.org/jira/browse/FLINK-17829> [2]

Re: flink整合hbase

Hi, Flink hbase connector官网有的[1],1.10以前的包名是flink-hbase, 1.11后社区统一了所有connector的包名，包名为flink-connector-hbase[1]，1.11最近快发布了，你的报错看起来是缺少了一些类，可以参考下hbase connector的依赖[2]。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connect.html#hbase-connector <ht

Re: flink整合hbase

Hi, 可以贴下你的配置和异常栈吗？1.10的时候我本地也测试过，是ok的。 Best, Leonard Xu > 在 2020年6月5日，00:27，liunaihua...@163.com 写道： > > hi > 咨询下，想用flink1.10整合hbase，请问一下hadoop，hbase都需要什么版本？有哪位跑通过，可否提供下配置文件，我在本地测试，所有集群都正常启动，提交任务（flink读写hbase）总是报错，找不到某些类，是否跟版本有问题？ > 提前谢谢了！ > > | | > liunaihua521 >

Re: flink sql upsert模式写入mysql，es等key一定是groupby之后所有字段吗

Hi, > 但这样子不能通过calcite的sqlvalidation，select后面不能有非聚合项， select后费聚合值可以通过max()或sum()来取，因为已经按照key group by了，所以取出来的非聚合值只能有一条， > 这样子key的state无限增长(比如说amount是一个随机的double数)，job跑不久就会fail掉。 State 可以配置ttl的，过期清理参考[1] 另外，即将发布的1.11中，支持在jdbc table 上定义primary key， 不用强制要求写upsert 的query，文档正在撰写中[2] Best, L

Re: 关于flink table api如何实现多维度去重

Hi， > 如：select sum(distinct b,c) from orders group by a,w sum function 的入参只能是一个，没太明白你的需求，如果是简单的去重，group by 所有需要去重的字段就可以去重： .groupBy("a,b,c w") .select("a, b, c”); 如果是group by分组还需要对非分组字段去重做聚合，那直接： .groupBy("a, w") .select("a, b.sum.distinct, c.

Re: flink sql 窗口场景的问题

/utils/WindowEmitStrategy.scala#L174 <https://github.com/apache/flink/blob/master/flink-table/flink-table-planner-blink/src/main/scala/org/apache/flink/table/planner/plan/utils/WindowEmitStrategy.scala#L174> Best Leonard Xu > 在 2020年6月3日，08:22，smq <374060...@qq.com> 写道： > >

Re: Flink1.11-release编译部署后sql-client的bug

Hi， 夏帅 感谢反馈，这应该是个bug，我 这边本地也复现了，我先看下哈 祝好， Leonard Xu > 在 2020年6月2日，11:57，夏帅 写道： > > 是我编译的问题么,在window下编译的

Re: 提交flink代码 无法创建taskmanager flink web界面一致停留在created状态 ，日志报错如下

邮件里的图片经常看不到，可以用图床工具，放链接。 > 在 2020年6月1日，09:27，wangweigu...@stevegame.cn 写道： > > > 这个邮件好像图片都看不到啊，你们能看到不？ > > > > 发件人： 程龙 > 发送时间： 2020-05-30 19:20 > 收件人： user-zh > 主题： Re:re:提交flink代码 无法创建taskmanager flink web界面一致停留在created状态 ，日志报错如下 > > > 是用代码提交的jobmanager 是可以加载的 就是启动taskmanager 这个目录就没有创建，

Re: flink sql的hbase connector问题

Hi， (1)是的， (2) 可以，自己实现下就行 祝好 Leonard Xu > 在 2020年5月29日，16:44，op <520075...@qq.com> 写道： > > 大家好我有两个问题: > > > 1.现有的 hbase connector 只支持 hbase 1.4.3版本吗？ > 2.可以自定义1.2.0版本的connector吗？ > > > 谢谢！

Re: FlinkKafkaConsumer消费kafka中avro格式的消息，直接用AvroDeserializationSchema总是运行失败，自己实现了一个AbstracteserializationSchema运行成功了。

Hi, > 我使用avro代码生成工具基于一个schema生成了UserView类，又实现了kafka的Serializer接口， 你往kafka中写入avro格式的数据时用kafak的Serializer，写入的格式是当成confluent schemat registry的avro格式吧 confluent schemat registry 在处理avro数据时会多写一个MAGIC_BYTE，一般avro是没有的，消费时用ConfluentRegistryAvroDeserializationSchema 试试。 Best， Leonard Xu [1] ht

Re: flink写入hbase 报错如下 还会导致反压 任务变慢

Hi > org.apache.hadoop.hbase.RegionTooBusyException 这异常信息看起来像hbase集群在大量写入时碰到了问题，不像是flink这边的问题，建议排查下hbase侧，应该有一些参数可以优化。 Best, Leonard Xu

Re: flink sql 写 hive分区表失败

.dwd.t1_copy select id,name,`p_year`,`p_month` from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = 4 INSERT INTO dwdCatalog.dwd.t1_copy select * from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = 4 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-mast

Re: flink sql 写 hive分区表失败

Hi, >|select * from dwdCatalog.dwd.t1 where `p_year` = 2020 and `p_month` = > 5 应该是 select * 会把分区字段一起带出来吧，你字段就不匹配了，select里加上你需要的字段吧 祝好， Leonard Xu > 在 2020年5月28日，12:57，Zhou Zach 写道： > > org.apache.flink.client.program.ProgramInvocationException: The main method &g

Re: Table API 有 类似于 SQL API 的 TO_TIMESTAMP 函数吗

> 我原以为 Table API 会比 SQL API 自由度大一些，毕竟可以代码层面定制 Table API 确实是要灵活些，只是最近两个版本中，SQL模块社区的主要精力在搞DDL，DDL可以降低用户门槛，提升易用性，Table API的迭代稍微慢了些， 我理解1.12中应该会完善Descriptor API，这也是比较重要的用户入口，目前建议优先使用DDL。 Best, Leonard Xu > 在 2020年5月28日，10:23，macia kk 写道： > > 好的，谢谢， > > 放弃治疗，我先尝试DDL，先把 job

Re: 向flink push代码

Hi, Yangze 贴了官方教程，也可以看下 Jark 的博客[1]，中文的看起来会快一些。 Best, Leonard Xu [1] https://wuchong.me/blog/2019/02/12/how-to-become-apache-committer/ <https://wuchong.me/blog/2019/02/12/how-to-become-apache-committer/> > 在 2020年5月28日，10:18，Yangze Guo 写道： > > 您好，社区的贡献代码教程[1]。 > > Tips:

Re: Table API 有 类似于 SQL API 的 TO_TIMESTAMP 函数吗

Hi， 我看了下Descriptor的代码，如果数据源是Kafka应该有地方绕，很绕, 你可以试下，建议使用DDL。 Best Leonard Xu [1] https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka-base/src/main/java/org/apache/flink/table/descriptors/Kafka.java#L111 <https://github.com/apache/flink/blob/master/flink-connect

Re: flink 如何自定义connector

Hi， 可以参考现有的connector，如hbase，jdbc，结合[1]实现自定义connector。 祝好， Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sourceSinks.html <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sourceSinks.html> > 在 2020年5月28日，09:16，Peihui He 写道： &

Re: Flink sql 跨库

/table/types.html#interval-year-to-month> 祝好 Leonard Xu > > > > > > > > > > > > > > At 2020-05-27 19:09:43, "Zhou Zach" wrote: >> The program finished with the following exception: >> >> >> org.apache.flink.clie

Re: Flink sql 跨库

Flink 支持hive分区表的，看你在另外一个邮件里贴了，你能把你的hive表和query在邮件里贴下吗？ 祝好 Leonard Xu > 在 2020年5月27日，17:40，Zhou Zach 写道： > > > > > 感谢回复，表名前加上Catalog和db前缀可以成功访问了。 > 现在遇到个问题，flink 读hive 分区表时，如果where子句用分区键，比如year过滤就会报错，用表中其他字段过滤是没问题的，是flink 不支持

Re: Flink sql 跨库

hive.hive_test1.db1_table; 2020-05-27 17:25:48,565 INFO org.apache.hadoop.hive.conf.HiveConf 祝好 Leonard Xu > 在 2020年5月27日，10:55，Zhou Zach 写道： > > hi all， > Flink sql 的HiveCatalog 是不是不能跨库操作啊，就是一个flink > sql中join的两个表涉及到两个不同到库，因为一个HiveCatalog只能关联一个库

Re: Flink SQL FIRST_VALUE 是append 模式吗？

Hi Kafka 的 sink 是 appendStreamSink，所以query只能是append的, 因为Kafka 的 sink无法处理retract消息。 你SQL中的 left join 是个双流join，会产生retract消息，编译时发现query和sink不匹配会报你贴的错误， 通常看到的业务场景是写入kafka的数据是不用去更新的，kafka主要用作一个消息队列，如果是需要更新 结果的数据，一般是存到db里，jdbc，hbase, es 这几个 connector 的sink都是upsertSink。 祝好, Leonard Xu > 在 2020年5

Re: Flink SQL 嵌套 nested Json 解析

Hi, kk 使用的flink版本是多少？1.10可以不用声明format的，方便贴下一条json数据吗？我可以看看 祝好， Leonard Xu > 在 2020年5月26日，01:26，macia kk 写道： > > 有哪位大佬帮我看下，谢谢 > > > 尝试了很久，还是无法解析嵌套结构的Json > > Error > > Caused by: org.apache.flink.table.api.ValidationException: SQL > validation failed

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

，本地IDE中也可以添加hbase-site.xml到classpath进行验证和调试，可以绕过现在的问题。 比较晚发现这个问题一是使用hbas作为source表的用户比较少，主要把hbase用作维表和结果表，维表走HBaseLookupFunction，结果表走HBaseUpsertSinkFunction，这两个的实现都是ok的，二是Hbase的ITCase实现比较特殊，没能覆盖DDL的测试，生产环境一般都是走环境变量配置，添加到classpath，我看这段代码历史还挺久的。 总之，是个好问题，我建了issue，会跟进修复。 Best, Leonard Xu [1] https

Re: Could not find a suitable table factory for 'TableSourceFactory'

Hi, 确实，connector包太多，DataStream 和 Table 分两套的问题，format的包也需要用户导入问题，确实比较困扰用户。 社区也在讨论flink打包方案[1]来降低用户接入成本。 祝好， Leonard Xu [1]http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-quot-fat-quot-and-quot-slim-quot-Flink-distributions-tc40237.html#none <http://apache-fl

Re: Could not find a suitable table factory for 'TableSourceFactory'

kafka版本，2.11是scala版本 如果是Table API & SQL程序不用加 flink-connector-kafka_2.11 的依赖，你的case把dataStream的connector依赖去掉， 把 sql connector的依赖改为 flink-sql-connector-kafka-0.11_2.11 试下 Best, Leonard Xu > > macia kk 于2020年5月25日周一 上午10:05写道： > >> built.sbt >> >> val flinkVersi

Re: Flink SQL 新手问题，RowTime field should not be null, please convert it to a non-null long value

rse-errors' = 'true',-- optional: skip fields and rows with parse errors instead of failing; 这两个参数不能同时为true。 祝好， Leonard Xu > Cheers, > Enzo > > On Mon, 25 May 2020 at 10:01, Leonard Xu <mailto:xbjt...@gmail.com>> wrote: > >> Hi, >> >> 这个报错信息应该

Re: Flink SQL 新手问题，RowTime field should not be null, please convert it to a non-null long value

Hi, 这个报错信息应该挺明显了，eventTime是不能为null的，请检查下Kafka里的数据ts字段是不是有null值或者没有这个字段的情况，如果是可以用个简单udf处理下没有值时ts需要指定一个值。 祝好， Leonard Xu > 在 2020年5月25日，09:52，Enzo wang 写道： > > 请各位帮忙看一下是什么问题？ > > 数据流如下： > Apache -> Logstash -> Kafka -> Flink ->ES -> Kibana > > 日志到Kafk

Re: Could not find a suitable table factory for 'TableSourceFactory'

Hi, 你使用的kafka connector的版本是0.11的吗？报错看起来有点像版本不对 Best, Leonard Xu > 在 2020年5月25日，02:44，macia kk 写道： > > 感谢，我在之前的邮件记录中搜索到了答案。我现在遇到了新的问题,卡主了好久: > > Table API, sink to Kafka > >val result = bsTableEnv.sqlQuery("SELECT * FROM " + "") > &

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

Hi, hongxiao 我试了下，我本地hbase集群测试了下ok的[1]，没能复现你的问题，你hbase集群的环境是怎么样的呀？ Best, Leonard Xu [1] https://github.com/leonardBang/flink-sql-etl/blob/master/etl-job/src/main/java/kafka2hbase/KafkaJoinHbaseJoinMysql2Hbase.java#L33 <https://github.com/leonardBang/flink-sql-etl/blob/master/etl-job/src/m

Re: sinktable更新部分字段问题

Hi，naturalfree Flink SQL 里es sink 是支持Append mode和upsert mode的[1]，upsert mode下支持按主键更新的，你可以看看。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/connect.html#elasticsearch-connector <https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/ta

Re: 本地测试 flink 1.10 hbase sql create table 在反序列化byte之后得到的对象conf配置为null，导致无法连接hbase集群

question, could you post your SQL or program that can reproduce the null issue rather than only a debug information? And we can keep communication in user-zh@flink.apache.org <mailto:user-zh@flink.apache.org> if you prefer Chinese. Best, Leonard Xu [1] https://flink.apache.org/

Re: 这种复杂数据直接解析成null了

%E5%8C%96%E7%9A%84%E6%95%B0%E6%8D%AE%E7%B1%BB%E5%9E%8B> [2] https://issues.apache.org/jira/browse/FLINK-17847 <https://issues.apache.org/jira/browse/FLINK-17847> > 在 2020年5月21日，00:01，Leonard Xu 写道： > > Hi, >> 语句： >> CREATE TABLE A ( >> w_data STRING, >>

Re: 数组越界

Hi, allanqinjy 方便贴下查询的query吗？今天在排查另外一个问题时也遇到了这个问题，我建了issue来跟踪[1]，想看下是不是相同原因。 Best, Leonard [1] https://issues.apache.org/jira/browse/FLINK-17847 <https://issues.apache.org/jira/browse/FLINK-17847> > 在 2020年5月18日，19:52，Leonard Xu 写道： > > Hi, allan

Re: 这种复杂数据直接解析成null了

p.id' = 'test-jdbc', 'connector.startup-mode' = 'earliest-offset', 'format.type' = 'json', 'format.derive-schema' = 'true' ) Best, Leonard Xu > 在 2020年5月20日，18:06，guaishushu1...@163.com 写道： > > 语句： > CREATE TABLE A ( > w_data STRING, > w_table STRING, > w_ts TIMES

Re: Flink 1.10-SQL解析复杂json问题

Hi, guaishushu 贴query或者图床链接吧，flink-sql中的json的解析支持是比较全的[1]，可以把json的 schema 和 异常数据贴下吗？ 用个单元测试应该就可以复现问题 Best, Leonard [1] https://github.com/apache/flink/blob/master/flink-formats/flink-json/src/test/java/org/apache/flink/formats/json/JsonRowDeserializationSchemaTest.java

Re: Flink-1.10-SQL TopN语法问题

+ user-zh > 在 2020年5月20日，15:27，Leonard Xu 写道： > > Hi，guaishushu > > 先说声抱歉邮件回复晚了，过了下你的sql，问题是1.10 中 对于upsertSink的primary > key是通过query来推断的，部分query是推断不出来的，你的query刚好推断 > 不出来PK的，所以会提示：Exception in thread "main" > org.apache.flink.table.api.TableExcepti

Re: flink sql使用维表关联时报Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's proctime field, doesn't support 'PROCTIME()'

ot;, > >"D:\\conf", "1.1.0"); > > tEnv.registerCatalog("x", myCatalog); > > Best, > Junbao Zhang > > > 发件人: Leonard Xu > 发送时间: 2020年5月20日 11:51 > 收件人: user-zh > 主题: Re: flink sql使用维表关联时报Temporal table join c

Re: flink sql使用维表关联时报Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's proctime field, doesn't support 'PROCTIME()'

strap.servers' = '*:9092', >'connector.properties.zookeeper.connect' = '*:2181', >'connector.startup-mode' = 'latest-offset', >'update-mode' = 'append', >'format.type' = 'json', >'format.fail-on-missing-field' = 'true' > ); > > join sql 可以查看历史记录里面有。 &g

Re: flink sql使用维表关联时报Temporal table join currently only supports 'FOR SYSTEM_TIME AS OF' left table's proctime field, doesn't support 'PROCTIME()'

Hi, 1.10（1.10.1）版本都是支持建表时用计算列声明proctime列的，temporal table也是支持join 和 left join的，我这边之前1.10 release时验证过[1]，可以参考 方便把你们完整的sql 贴出来吗？ Best, Leonard Xu [1] https://github.com/leonardBang/flink-sql-etl/blob/master/etl-job/src/main/resources/job-sql-1.10/kafka2hbase/KafkaJoinHbaseJoinMysql2Hbase.sql

Re: 数组越界

Hi, allanqinjy 运行时抛ArrayIndexOutOfBoundsException 是不符合预期的，感觉是个bug。 可以复现的haul，方便提供下复现的sql和数据吗？ Best, Leonard Xu > 在 2020年5月18日，17:37，Benchao Li 写道： > > 数组长度是运行时的问题，编译期并不知道数组的长度。而且现在好像也没有检查下标是不是合法（比如必须大于0）。我们以前也经常遇到这种问题。 > > allanqinjy 于2020年5月18日周一 下午5:15写道： > >> 我觉

Re: [ANNOUNCE] Apache Flink 1.10.1 released

Thanks Yu for being the release manager, and everyone else who made this possible. Best, Leonard Xu > 在 2020年5月18日，10:43，Zhu Zhu 写道： > > Thanks Yu for being the release manager. Thanks everyone who made this > release possible! > > Thanks, > Zhu Zhu > &g

Re: SQL DDL怎样使用Long类型的时间戳作为事件时间

Hi 目前还不支持，需要自己写个简单的udf转换下， 社区有个issue[1]在跟这个问题了 Best, Leonard Xu [1]https://issues.apache.org/jira/browse/FLINK-16889 <https://issues.apache.org/jira/browse/FLINK-16889> > 在 2020年5月14日，10:01，zzh...@foxmail.com 写道： > > Hi，all > kafka消息中存在消息的时间是Long类型，既有也有秒值，毫秒值， > 我的问

Re: MySQL写入并行度参数设置问题

Hi, 目前应该是没有的，SQL还不支持对单独的operator设置并行度, 只能针对作业设置。 Best, Leonard Xu > 在 2020年5月11日，14:36，Senior.Hu <463302...@qq.com> 写道： > > Hi All， 在使用Flink1.10 SQL写MySQL数据源时，经常出现deadlock问题。 > 目前想通过在CREATE TABLE定义DDL时，限制写入时并行度解决此问题，但是在官网上JDBC > Connector没找到对应可设置参数，想问下目前有没有支持此参数设置？

Re: flink lookup join 关联出多条记录的语义问题

Hi, binlog中相同的note_id要取最新的note_id来和维表join吗？如果是可以用duplication 写法[1] Best, Leonard Xu [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication <https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#deduplication> > 在

Re: Flink-1.10-SQL TopN语法问题

Hi 图挂了，可以用图床工具链接出来，或者可以把query贴出来看看嘛？ Best, Leonard Xu > 在 2020年5月9日，13:51，guaishushu1...@163.com 写道： > > hi 大家，我在使用TopN语法，往mysql写数据时，发现必须将rownum设置为数据库的主键，要不然会报错，有人遇到吗 > > guaishushu1...@163.com <mailto:guaishushu1...@163.com>

Re: FlinkSQL Upsert/Retraction 写入 MySQL 的问题

ql表，对应的jdbc sink 是JDBCUpsertTableSink，所以会按照Upsert的逻辑处理, 也不支持retract。 > 如若不带 group by 直接： > INSERT INTO mysql_sink SELECT f1, f2 FROM kafka_src > 主键冲突写入 mysql 是会出错的，怎么可以用 Upsert 的方式直接覆盖呢？ 不带 group by时无法推导出query的 unique key，没法做按照unique key的更新， 只需要将 query的 key （你这里是group by 后的字段）和db中主键保持一致即可 Best, Leonard Xu

Re: FlinkSQL Upsert/Retraction 写入 MySQL 的问题

Hi, wanglei PLEASE use English when send mails to user(u...@flink.apache.org) mail list. You should send to to user-zh(user-zh@flink.apache.org) mail list, and I’m pleasure to answer the question here. Best, Leonard Xu > 在 2020年4月27日，12:14，wangl...@geekplus.com.cn 写道： > > &g

Re: sql 行转列

Hi, FILTER是SQL标准里的语法，可以参考[1] FLINK SQL是支持该语法的，类似的例子官网文档可以参考 [2]中最后的例子 Best, Leonard Xu [1] https://modern-sql.com/feature/filter <https://modern-sql.com/feature/filter> [2]https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/table/tuning/streaming_aggregation_optimizatio

Re: [ANNOUNCE] Apache Flink 1.9.3 released

Thanks Dian for the release and being the release manager ! Best， Leonard Xu > 在 2020年4月26日，17:58，Benchao Li 写道： > > Thanks Dian for the effort, and all who make this release possible. Great > work! > > Konstantin Knauf mailto:konstan...@ververica.com>> > 于2020

Re: [基础定义] 有状态计算 & 无状态计算

Hi, 状态计算，简单地理解一次计算依赖上一次的计算结果，状态理解为算子的中间结果， 比如benchao举例的window或者聚合算子就是有状态的，filter 这种算子就是无状态的。 1.10的中文文档还是非常详细的，可以参考CountWindowAverage这个例子[1] 祝好， Leonard Xu [1]https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/stream/state/state.html <https://ci.apache.org/projects/flink/flink-d

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

Hi， 看起来应该是你之前改代码时引入的小bug，因为从代码路径和测试来看都不能复现这个问题。 另外，如果修改了源代码记得邮件里说明下，不然好南 祝好， Leonard Xu > 在 2020年4月23日，16:26，1101300123 写道： > > 我重新在源码里打了一些日志编译后，之前的问题不见了，试了好多次没有复现了，之前因为集成clickhouse > 改过源码的delete代码，不知道是不是这个引起的 > 在2020年4月23日 16:23，Leonard Xu 写道： > Hi, > 我本地复现了下，用1.10.

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

Hi, 我本地复现了下，用1.10.0发现的你的sql是ok的，结果也符合预期☺️，如下[1]： 看到你建了JIRA，我们在issue里继续跟进吧 祝好， Leonard Xu [1] mysql> select * from order_state_cnt; ++--+--+ | order_date | product_code | cnt | ++--+--+ | 2020-04-01 | product1 |3 | | 2020-04

Re: retract的问题

def producesRetractions: Boolean = false 祝好， Leonard Xu

Re: 关于RetractStream流写mysql出现java.sql.SQLException: No value specified for parameter 1问题

， Leonard Xu > 在 2020年4月22日，21:58，1101300123 写道： > > > > 我在SQL关联后把结果写入mysql出现 No value specified for parameter 1错误？ > 我的版本是1.10.0，代码如下 > JDBCUpsertTableSink build = JDBCUpsertTableSink.builder() > .setTableSchema(results.getSchema()) >.set

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

Hi, 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ 可以从这方面找思路排查下看看 祝好， Leonard Xu > 在 2020年4月22日，16:10，Oliver 写道： > > hi， > > > 我有一个任务是使用flink将kafka数据写入ES，纯ETL过程， > 现在遇到的问题是：每天0点之后数据写入ES异常,同时监控发现kafka消息开始堆积，重启任务后，kafka消息堆积现象逐渐恢复，如果不重启则堆积问题一直存在。 >

Re: json中date类型解析失败

Hi 报错是因为'format.ignore-parse-errors' 参数是在社区最新的版本才支持的，FLINK-16725在1.11应该也会修复，如果需要使用的话可以等1.11发布后使用或者自己编译master分支， 即使有了这个参数你的问题也无法解决，对你的case每行记录都会解析错误所以会过滤掉所有数据。 建议你可以在数据源就转为标准的json格式或者写个udf将long转为timestamp后使用。 祝好， Leonard Xu > 在 2020年4月22日，12:33，王双利 写道： > > 要不你们再做一个fastjson版本的？ >

Re: json中date类型解析失败

es.apache.org/jira/browse/FLINK-16725> Best, Leonard Xu > 在 2020年4月22日，12:05，王双利 写道： > > 使用 flink-json -1.10.0 解析json数据报下面的错误 > > Caused by: java.time.format.DateTimeParseException: Text '1587527019680' > could not be parsed at index 0 > > 经检查 是 以下字段导致的 > {"j

Re: flink sql string char 不兼容？

Hi, 王双利 我试了下1.10.0的版本，没能复现你的异常， 如Jingsong Lees所说的char(n)到varchar已经支持了， 你能完整的贴下loginevent 的 sql吗？我再看看 祝好 Leonard Xu > 在 2020年4月21日，22:22，Jingsong Li 写道： > > Hi, > > - 首先1.10中把char Insert到varchar中是支持的，可以再check下哪里有没有问题吗？ > - 'false'应该是char(5)而不是char(4) > > Best, &g

Re: flink sql string char 不兼容？

t; > 王双利 > > 发件人： Leonard Xu > 发送时间： 2020-04-21 18:29 > 收件人： user-zh > 主题： Re: flink sql string char 不兼容？ > Hi > Sink 对应的字段(taskid\hit)需要声明成varchar, 现在不支持varchar类型写入char(n) > > 祝好， > Leonard Xu > >> 在 2020年4月21日，18:20，王双利 写道： >> >> 下面的sql

Re: flink sql string char 不兼容？

Hi Sink 对应的字段(taskid\hit)需要声明成varchar, 现在不支持varchar类型写入char(n) 祝好， Leonard Xu > 在 2020年4月21日，18:20，王双利 写道： > > 下面的sql 执行的时候报 下面的错误CREATE TABLE target ( >jnlno VARCHAR, > -- taskid char(9), > -- hit char(4) > taskid VARCHAR, >hit VARCHAR > ) &

Re: 如何看到他人问题

Hi, 订阅user-zh邮件邮件组即可收到该邮件组里的所有邮件， 可以发送任意内容的邮件到 user-zh-subscr...@flink.apache.org 订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] 祝好， Leonard Xu https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list > 在 2020年4月21日，16:55，一袭月色 <1906286...@qq.com> 写道： > > 如何看到他人问题

Re: 关于StreamingFileSink

Hello，图挂了，可以搞个图床了挂链接到邮件列表。。。 另外问下为什么不从最新的cp开始恢复作业呢？这样我理解会有脏数据吧。 > 在 2020年4月19日，23:23，Yun Gao 写道： > > Hello~ 想再确认一下预期的行为：现在是希望后面重新写之后，用新写过的part-xx来覆盖之前生成的文件么~？ > > > -- > From:酷酷的浑蛋 > Send Time:2020 Apr. 18 (Sat.) 20:32 >

Re: Flink实时写入hive异常

看起来stream -> (Flink SQL) -> hive 这个场景大家都很关注，预计FLIP115完成后能解这个场景。 Best, Leonard > 在 2020年4月2日，17:10，sunfulin 写道： > > > > > Hi， > 这里就涉及到一个话题，应该怎么去实践实时和离线数仓的数据融合。我能理解这个技术上的不合理，但是通过Flink实现数仓ETL的功能，我相信很多使用Flink的会将之作为一个重要场景。 > > > > > > > > > > > > > > > 在 2020-04-01 16:05:54，"111"

Re: ddl es 报错

t; 2020年3月25日 下午1:40，zhisheng 写道： >> >> hi，Leonar Xu >> >> 官方 ES DDL 现在不支持填写 ES 集群的用户名和密码，我现在在公司已经做了扩展，加了这个功能，请问社区是否需要这个功能？我该怎么贡献呢？ >> >> 效果如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-25-053948.png >> >> Best Wishes！ >> >> z

Re: JDBC Sink参数connector.write.max-retries 在Oracle中的bug

Hi, xinghalo 这是jdbc sink 的AppenOnlyWriter的一个已知bug，在1.10.1里已经修复[1]，社区近期在准备1.10.1的发布， 建议等1.10.1发布后升级即可。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281 > 在 2020年3月24日，18:32，111 写道： > > Hi, > 在使用jdbc

Re: FLINK SQL中时间戳怎么处理处理

Hi，吴志勇 你的SQL表定义应该没问题，出问题的地方 现在flink的 json format 遵循 RFC3399标准[1]，其识别的timestamp的格式是:'-MM-dd'T'HH:mm:ss.SSS’Z', 暂不支持long解析为 timestamp，你可以在输出到kafka时将timestamp转换成该格式： DateFormat dateFormat = new SimpleDateFormat("-MM-dd'T'HH:mm:ss.SSS'Z'"); Date date = new Date(System.currentTimeMillis());

Re: ddl es 报错

Hi, 出发 看起来是你缺少了依赖es connector的依赖[1]，所以只能找到内置的filesystem connector，目前内置的filesystem connector只支持csv format，所以会有这个错误。 在项目中加上缺失的依赖即可，如果使用SQL CLI，也需要将依赖的jar包放到 flink的lib目录下。 org.apache.flink flink-sql-connector-elasticsearch6_2.11 ${flink.version} org.apache.flink flink-json

Re: Flink 1.10 的 JDBCUpsertOutputFormat flush方法的重试机制无法生效

Hi, shangwen 这应该是AppendOnlyWriter的一个bug[1]， 在1.10.1/1.11-SNAPSHOT(master)中已经修复. 用1.10.1或master分支就好了，目前1.10.1还未发布，我了解到的1.10.1社区正在准备发布中。 如果急需修复，你可以参考1.10.1分支的代码。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281

[DISCUSS] What parts of Flink SQL should we improve for usability?

is still lacked according to your development experiences ? 4. Which aspects of Flink SQL's Usability do you think are not good enough ? 5. Any other suggestions or complaints to Flink SQL ? Any feedback is welcome. Best, Leonard Xu

Re: [ANNOUNCE] Dian Fu becomes a Flink committer

Congratulations! Dian Fu Best, Leonard > 在 2020年1月16日，18:00，Jeff Zhang 写道： > > Congrats Dian Fu ！ > > jincheng sun mailto:sunjincheng...@gmail.com>> > 于2020年1月16日周四 下午5:58写道： > Hi everyone, > > I'm very happy to announce that Dian accepted the offer of the Flink PMC to > become a

Re: 取消关注

Hi, Sun 是指取消订阅邮件吗？ 可以发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 取消订阅来自 user-zh@flink.apache.org 邮件组的邮件 邮件组的订阅管理，可以参考[1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list

Re: 关于flink集群中调用dubbo服务的咨询

Hi, 依辰 对dubbo不太熟，你邮件里的图片挂了，可以通过图床工具发送下图片链接。 Best, Leonard > 在 2020年1月10日，11:12，依辰 <431737...@qq.com> 写道： > > Hi All, > 目前我这里有个需求是想通过flink集群，消费mq消息，然后调用发送push的dubbo服务，实现push分发的功能。 > 网上关于flink接入spring框架的资料没有找到太多，更别提dubbo服务调用相关的了(也可能是我查询资料的方式有限)。 > >

Re: 使用Flink SQL时，碰到的 【Window can only be defined over a time attribute column】

Hi，amenhub 这个提示是ts字段缺少了时间属性(time attribute)，window中的ts字段需要定义为时间属性，目前Flink支持处理时间（processing time） 和 事件时间（event time），时间属性的定义方式可以参考[1] [1]https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/time_attributes.html

<    1   2   3   4