把flink parquet包放在flink客户端lib包下试试呢
原始邮件
发件人: Wei JI10 季伟
收件人: user-zh@flink.apache.org
发送时间: 2021年6月28日(周一) 14:14
主题: Re: flink sql报错: Could not find any format factory for identifier 'parquet'
in the classpath
您好，
我没有设置scope，我看jar包中是有org/apache/flink/formats/parquet/这个目录的...
在 2021/6
您好，
我没有设置scope，我看jar包中是有org/apache/flink/formats/parquet/这个目录的...
在 2021/6/28 下午12:47，“zhisheng” 写入:
注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay
attention to the information security!
看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？
退订
看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？
Wei JI10 季伟 于2021年6月28日周一 下午12:19写道：
> 您好，
> 版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？
>
> 在 2021/6/28 上午11:59，“Jingsong Li” 写入:
>
> 注意：此封邮件来自于公司外部，请注意信息安全！
> Attention: This email comes from outside of the company, please pay
> attention to the in
您好，
版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？
在 2021/6/28 上午11:59，“Jingsong Li” 写入:
注意：此封邮件来自于公司外部，请注意信息安全！
Attention: This email comes from outside of the company, please pay
attention to the information security!
Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？
BEST，
Jingsong
Hi, 你的版本check下？集群和flink-parquet是同一个版本吗？
BEST，
Jingsong
On Mon, Jun 28, 2021 at 11:22 AM Wei JI10 季伟
wrote:
> 您好，
> 不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
>
>
--
Best, Jingsong Lee
您好，
不是sql client，是在yarn环境上跑的，运行的jar包中引入了上面的依赖,然后就看到有这个报错。
使用的是 sql client 测试的 sql 吗？如果是的话，记得在 flink lib 目录下添加 flink-sql-parquet jar
包，然后重启集群和 sql client
Wei JI10 季伟 于2021年6月28日周一 上午9:35写道：
> 您好，
> 添加的parquet 依赖如下，不知道全不全
>
> org.apache.flink
> flink-parquet_${scala.binary.version}
> ${flink.version}
>
>
> org.apache.parquet
> parq
可以将 1.13 的这个功能打在 flink 1.12 上面，然后引用你们新打的依赖
casel.chen 于2021年6月23日周三 下午12:08写道：
> -- source
> CREATE TABLE tmall_item(
> itemID VARCHAR,
> itemType VARCHAR,
> onSellTime TIMESTAMP(3),
> price DOUBLE,
> proctime AS PROCTIME(),
> WATERMARK FOR onSellTime AS onSellTime - INTERVAL '5' SECOND
> ) WITH
写入hive在读取，我试了下是可以的。。。
第一步：
CREATE CATALOG myhive WITH (
'type' = 'hive',
'default-database' = 'default',
'hive-conf-dir' = '/home/admin/hive/conf'
);
第二部
USE CATALOG myhive;
第三步
select * from hive_table;
猜测可能的问题，我们本地部署设置的slot都是1，你可能是在跑着写入任务，没有资源跑读取任务？
你可以设置把写入任务停了，或者设置方言
您好，
添加的parquet 依赖如下，不知道全不全
org.apache.flink
flink-parquet_${scala.binary.version}
${flink.version}
org.apache.parquet
parquet-avro
1.10.1
parquet 相关依赖增加了吗？
Zhiwen Sun
On Sun, Jun 27, 2021 at 3:57 PM Wei JI10 季伟
wrote:
> Hi:
>在使用flink sql connector的filesytem时，指定format为parquet。抛出异常信息
> Caused by: org.apache.flink.table.api.ValidationException: Could not find
> any format factory for identifier 'parquet' in the classpath.
Hi:
在使用flink sql connector的filesytem时，指定format为parquet。抛出异常信息
Caused by: org.apache.flink.table.api.ValidationException: Could not find any
format factory for identifier 'parquet' in the classpath.
at
org.apache.flink.table.filesystem.FileSystemTableSource.(FileSystemTableSource.jav
13 matches
Mail list logo
