v-1.10.2.jar
> flink-dist_2.12-1.10.2.jar
> flink-jdbc_2.12-1.10.2.jar
> flink-json-1.10.2.jar
> flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
> flink-sql-connector-kafka_2.11-1.10.2.jar
> flink-table_2.12-1.10.2.jar
> flink-table-blink_2.12-1.10.2.jar
> log4j-1.2.17.jar
&
没有修改kafka,就用官方的jar。后来我用1.11.2版本重新尝试了下,成功了,没有任何错误。
这个问题就不纠结了
hl9...@126.com
发件人: Benchao Li
发送时间: 2020-09-29 18:17
收件人: user-zh
主题: Re: Re: sql-cli执行sql报错
这个错误看起来比较奇怪。正常来讲flink-sql-connector-kafka_2.11-1.10.2.jar里面应该都是shaded之后的class了,
但是却报了一个非shaded的ByteArrayDeserializer。
我感觉这个应该是你自己添加了一下比较特殊的
0.2.jar
> flink-table-blink_2.12-1.10.2.jar
> log4j-1.2.17.jar
> mysql-connector-java-5.1.48.jar
> slf4j-log4j12-1.7.15.jar
>
>
>
>
> hl9...@126.com
>
> 发件人: Leonard Xu
> 发送时间: 2020-09-28 16:36
> 收件人: user-zh
> 主题: Re: sql-cli执行sql报错
> Hi
> ben
.jar
slf4j-log4j12-1.7.15.jar
hl9...@126.com
发件人: Leonard Xu
发送时间: 2020-09-28 16:36
收件人: user-zh
主题: Re: sql-cli执行sql报错
Hi
benchao的回复是的对的,
你用SQL client 时, 不需要datastream connector的jar包,直接用SQL connector 对应的jar包
flink-*sql*-connector-kafka***.jar就行了,把你添加的其他jar包都删掉。
> 相关lib包:
> flink-connec
(1) 的方式相当于一个shade之后的包,会把所有compile的依赖都打进去。
(2) 的方式的话,你需要自己手工添加所有这个connector的依赖,比如你提到的kafka-clients。
而且,kafka-clients本身的依赖如果你没有打到kafka-clients这个包里面的话,那你也需要把
那些compile依赖也都放进来。所以相当于手工做了一遍maven的依赖处理,而且要想全部都
放进来,应该会有很多。
看了下pom,在flink-sql-connector-kafka中依赖了flink-connector-kafka-**,该包又依赖了flink-connector-kafka-base-**以及kafka-client。
然后flink-sql-connector-kafka做了shade。
所以看下来,我的那个(1)和(2)理论上效果是一样的。
这个不是很懂,(1)flink-connector-kafka_2.11-1.11.2.jar+flink-connector-kafka-base_2.11-1.11.2.jar+kafka-clients-0.11.0.3.jar
和(2)flink-sql-connector-kafka**.jar是啥区别呢?
使用(1)可以不?因为我的kafka-clients部分是调整了源码的。
Leonard Xu 于2020年9月28日周一 下午4:36写道:
> Hi
> benchao的回复是的对的,
> 你用SQL client 时, 不需要datastream
Hi
benchao的回复是的对的,
你用SQL client 时, 不需要datastream connector的jar包,直接用SQL connector 对应的jar包
flink-*sql*-connector-kafka***.jar就行了,把你添加的其他jar包都删掉。
> 相关lib包:
> flink-connector-kafka_2.12-1.10.2.jar
> kafka-clients-0.11.0.3.jar
祝好
Leonard
@flink.apache.org
抄送: user-zh
主题: 回复: sql-cli执行sql报错
HI,
大致看了下,建议可以这么排查:
1 flink-connector-kafka* 包太多了,仅保留你需要的版本即可
2 kafka-clients*包版本太高了,你看看你需要的版本是哪个
Best, xingoo
28 10:22
> flink-connector-kafka-base_2.11-1.10.2.jar
> -rw-rw-r-- 1 test test106632 Aug 17 16:36
> flink-connector-kafka-base_2.12-1.10.2.jar
> -rw-rw-r-- 1 test test 1893564 Jul 24 2018 kafka-clients-2.0.0.jar
>
>
>
> hl9...@126.com
>
> 发件人: 111
> 发送时间: 20
HI,
大致看了下,建议可以这么排查:
1 flink-connector-kafka* 包太多了,仅保留你需要的版本即可
2 kafka-clients*包版本太高了,你看看你需要的版本是哪个
Best, xingoo
fka-clients-2.0.0.jar
hl9...@126.com
发件人: 111
发送时间: 2020-09-28 09:23
收件人: user-zh@flink.apache.org
主题: 回复:sql-cli执行sql报错
你貌似使用的是flink-1.11的语法。
可以修改成flink-1.10的语法试试,参考文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#kafka-connector
| |
xinghalo
|
|
xi
你貌似使用的是flink-1.11的语法。
可以修改成flink-1.10的语法试试,参考文档:https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#kafka-connector
| |
xinghalo
|
|
xingh...@163.com
|
签名由网易邮箱大师定制
在2020年09月28日 09:16,hl9...@126.com 写道:
flink版本1.10.2,问题重现如下,请问各位大佬是什么原因:
./sql-client.sh embedded
flink版本1.10.2,问题重现如下,请问各位大佬是什么原因:
./sql-client.sh embedded
Flink SQL> show tables ;
[INFO] Result was empty.
Flink SQL> CREATE TABLE tx (
> account_id BIGINT,
> amount BIGINT,
> transaction_time TIMESTAMP(3),
>
14 matches
Mail list logo