Reply:flinksql 流维join 问题
select的问题，排查一下，单独查表是否有数据，关联条件。 ---Original--- From: "赵旭晨"
?????? flink-1.13.1 sql error
?? -- -- ??: "user-zh" http://apache-flink.147419.n8.nabble.com/
回复：窗口函数使用的时间类型
谢谢！明天回公司再调试。 ---原始邮件--- 发件人: "MOBIN"<18814118...@163.com> 发送时间: 2021年6月1日(周二) 晚上7:41 收件人: "user-zh@flink.apache.org"https://help.aliyun.com/document_detail/62512.html?spm=a2c4g.11186623.6.827.49531b09XfgsU7 | | MOBIN | 签名由网易邮箱大师定制 在2021年06月1日 19:37，guoyb<861277...@qq.com> 写道： 好的，谢谢！ 我试试 ---原始邮件--- 发件人: "Shuo Cheng"
回复：窗口函数使用的时间类型
好的，谢谢！ 我试试 ---原始邮件--- 发件人: "Shuo Cheng"
回复：窗口函数使用的时间类型
是的。 大神能否指条明路解决这问题。 ---原始邮件--- 发件人: "MOBIN"<18814118...@163.com> 发送时间: 2021年6月1日(周二) 晚上7:09 收件人: "user-zh@flink.apache.org"
窗口函数使用的时间类型
tumble() 开窗，需要的事件时间到底需要什么时间类型？一直报时间不对 timestamp(3) datetime time 都试过了，没有一个对的。
回复：Flink集成到CDH集群，Flink重启后web页面打不开
去yarn后台，看看am落在哪个机器上面，地址就是那个。 ---原始邮件--- 发件人: "maker_d...@foxmail.com"
回复：Fwd: flink1.12.2 CLI连接hive出现异常
看看yarn session是不是被kill掉了。 ---原始邮件--- 发件人: "Rui Li"
回复：Fwd: flink1.12.2 CLI连接hive出现异常
我的也有这种问题，没解决，kerberos认证的hive导致的。 ---原始邮件--- 发件人: "张锴"
回复：解析kafka 非标准JSON问题
好的，谢谢！我都试试看 ---原始邮件--- 发件人: "JasonLee"<17610775...@163.com> 发送时间: 2021年4月27日(周二) 晚上7:14 收件人: "user-zh"http://apache-flink.147419.n8.nabble.com/
回复：解析kafka 非标准JSON问题
SQL能实现吗？ ---原始邮件--- 发件人: "19971028...@163.com"<19971028...@163.com> 发送时间: 2021年4月27日(周二) 晚上6:51 收件人: "user-zh"
解析kafka 非标准JSON问题
您好！请问遇到如下格式的该如何用SQL解析。
string {name=string} {id : 1, name : abram}
eg:
2021-04-03x {name=aa} {id : 1, name : abram}
最重要为第三个字段 JSON，里面包含了data
第一和第二个字段可要可不要
请问，有思路可以参考吗？或者demo
回复：如何将flink sql 查询语句的count值取出
可以看看这个demo https://github.com/bingoguo93/flink-1.12-sql-demo/blob/main/src/main/java/org/example/mysql/tableQueryMysql.java ---原始邮件--- 发件人: "张锴"
找不到kafka ConsumerRecord包
本地模式可以执行成功 提交到yarn，报错 java.lang.ClassNotFoundException:org.apache.kafka.clients.consumer.ConsumerRecord lib包里有sql-connector-kafka，请问这是什么情况导致的？可以怎么排查，yarn上有哪些jar包呢。
回复：flink1.12.2 StreamingFileSink 问题
1.12.0的也可以，大版本一样就行了 ---原始邮件--- 发件人: "张锴"
回复：（无主题）
To remove your address from the list, send a message to:
回复： Flink 1.12.2 sql api 使用parquet格式报错
加下测试看看，你这很明显没找到包 ---原始邮件--- 发件人: "user-zh-return-12015-861277329=qq.com"https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/parquet.html 添加的依赖， 是需要把 flink-parquet_2.11 文件手动添加到 lib 目录才可以的吗？ -- 原始邮件 -- 发件人: "user-zh" <17610775...@163.com>; 发送时间: 2021年4月4日(星期天) 下午4:08 收件人: "user-zh"https://mp.weixin.qq.com/s/HqXaREr_NZbZ8lgu_yi7yA - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/
flink connector用户密码
比如jdbc connector MySQL create table xxx () with( " user name"=" root" ," password"="123456" ) ; 用户密码可以怎么配置，可以不用明文这种方式。
Re: jdbc connectors
不是replace，用的是insert into duplicate key update ---Original--- From: "liujian"<13597820...@qq.com> Date: Thu, Apr 1, 2021 16:02 PM To: "user-zh"
回复：flink 从mysql读取数据异常
可以读取的，还有内置flink cdc select得用query方法，看看是不是用错了execute。 ---原始邮件--- 发件人: "air23"https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html 这边读取mysql jdbc数据报错Exception in thread "main" org.apache.flink.table.api.TableException: Only insert statement is supported now. String a = "-- register a MySQL table 'users' in Flink SQL\n" + "CREATE TABLE MyUserTable (\n" + " id BIGINT\n" + ") WITH (\n" + " 'connector' = 'jdbc',\n" + " 'url' = 'jdbc:mysql://***:3306/monitor',\n" + " 'table-name' = 't1',\n" + " 'username' = 'root',\n" + " 'password' = '***'\n" + ") "; String b ="-- scan data from the JDBC table\n" + "SELECT id FROM MyUserTable\n"; tEnv.executeSql(a); 请问是不可以从mysql读取数据吗？
【数据加工流程求助】
如果我的需求需要写入明细数据，还要根据明细数据做聚合，然后再把汇总数据入库。 这种数据加工的流程应该怎么设计比较好！
【MySQL cdc 的数据不能聚合】
请问，MySQLcdc的数据，后续要聚合，应该放到upsertkafka吗？还是有其他方法。
MySQL cdc时态表join
mysql cdc表 和kafka表关联，应该怎么写，有对应示例吗？
回复：【flink sql group by 时间窗口】
这个问题换种写法解决了，从MySQL数据库表里取时间戳字段再转timestamp，可以实现滚动窗口，没报错。 从MySQL表里直接取datetime类型，jdbc表flink设置timestamp类型，会报错，直接取source的时间类型字段是不是转换有点问题。 ---原始邮件--- 发件人: "guoyb"<861277...@qq.com> 发送时间: 2021年3月17日(周三) 下午5:43 收件人: "user-zh"
【flink sql group by 时间窗口】
版本1.12.1 请问，支持事件时间吗？应该设置为哪种时间类型。 as_of_time time group by xx , tumble( as_of_time, interval "5" second) sql client报错， window aggregate can only be defined over a time attribute column, but time(0) encountered
回复：【flink sql-client 读写 Kerberos认证的hive】
好的，谢谢！ ---原始邮件--- 发件人: "Rui Li"https://issues.apache.org/jira/browse/FLINK-20913 有关了，这个issue是1.12.2修复的，可以升级一下试试。 On Mon, Mar 8, 2021 at 2:15 PM guoyb <861277...@qq.com> wrote: > 您好！ > hive.metastore.sasl.enabled 是true > > > 启动sql client的时候，可以正常读取到认证信息，并读取metastore的表名。 > > > 读和写，认证就失败了。 > > > > ---原始邮件--- > 发件人: "Rui Li"
回复：【flink sql-client 读写 Kerberos认证的hive】
您好！ hive.metastore.sasl.enabled 是true 启动sql client的时候，可以正常读取到认证信息，并读取metastore的表名。 读和写，认证就失败了。 ---原始邮件--- 发件人: "Rui Li"
??flink ???? Kerberos??????hive ??
?? flink1.12.1 hive2.1.0 CDH6.2.0 Kerberoshive?? Kerberos hive metastore?? ??sql-client.sh embedded?? Flink SQL> show tables; dimension_table dimension_table1 test Flink SQL> select * from test; [ERROR] Could not execute SQL statement. Reason: org.apache.flink.connectors.hive.FlinkHiveException: Failed to collect all partitions from hive metaStore ?? /opt/cloudera/parcels/FLINK-1.12.1-BIN-SCALA_2.11/lib/flink/log/flink-root-sql-client-cdh6.com.log?? 2021-03-07 10:29:18.776 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Trying to connect to localhost/127.0.0.1:6123 2021-03-07 10:29:18.777 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address 'cdh6.com/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:18.778 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:18.778 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/fe80:0:0:0:20c:29ff:fea1:6d6b%ens33': Network is unreachable (connect failed) 2021-03-07 10:29:18.778 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:18.779 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/0:0:0:0:0:0:0:1%lo': Network is unreachable (connect failed) 2021-03-07 10:29:18.779 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:18.779 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/fe80:0:0:0:20c:29ff:fea1:6d6b%ens33': Network is unreachable (connect failed) 2021-03-07 10:29:18.779 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:18.780 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/0:0:0:0:0:0:0:1%lo': Network is unreachable (connect failed) 2021-03-07 10:29:18.780 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:18.780 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Could not connect. Waiting for 1600 msecs before next attempt 2021-03-07 10:29:20.381 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Trying to connect to localhost/127.0.0.1:6123 2021-03-07 10:29:20.381 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address 'cdh6.com/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:20.382 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:20.383 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/fe80:0:0:0:20c:29ff:fea1:6d6b%ens33': Network is unreachable (connect failed) 2021-03-07 10:29:20.383 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:20.383 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/0:0:0:0:0:0:0:1%lo': Network is unreachable (connect failed) 2021-03-07 10:29:20.383 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:20.384 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/fe80:0:0:0:20c:29ff:fea1:6d6b%ens33': Network is unreachable (connect failed) 2021-03-07 10:29:20.384 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/192.168.31.10': Connection refused (Connection refused) 2021-03-07 10:29:20.384 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/0:0:0:0:0:0:0:1%lo': Network is unreachable (connect failed) 2021-03-07 10:29:20.385 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to connect from address '/127.0.0.1': Connection refused (Connection refused) 2021-03-07 10:29:20.385 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Could not connect. Waiting for 1829 msecs before next attempt 2021-03-07 10:29:22.214 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Trying to connect to localhost/127.0.0.1:6123 2021-03-07 10:29:22.215 [main] INFO org.apache.flink.runtime.net.ConnectionUtils - Failed to co
