目前还没办法解决,目前就只能重跑了。主要为了 exactly once 语义的。不然就会丢失这个被删除的文件的数据了。
其实如果接受非 exactly once 语义 的话,我们可以让 flink 继续跑,不过目前这个还没实现。
Best regards,
Yuxia
- 原始邮件 -
发件人: "迎风浪子" <576637...@qq.com.INVALID>
收件人: "user-zh"
发送时间: 星期四, 2022年 11 月 24日 下午 5:55:00
主题: 回复:Flink HIve 文件压缩报错
--
> > From: "Rui Li" > Date: Wed, Aug 11, 2021 07:49 PM
> > To: "user-zh" >
> > Subject: Re: Flink HIve 文件压缩报错
> >
> >
> >
> > 这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。
> >
> > 目前flink这边写文件的exact
---Original--
> From: "Rui Li" Date: Wed, Aug 11, 2021 07:49 PM
> To: "user-zh"
> Subject: Re: Flink HIve 文件压缩报错
>
>
>
> 这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。
>
> 目前flink这边写文件的exactly
> once语义是依赖HDFS的一致性保证的,如果之前写到HDFS的数据丢掉了就
您好:
这个文件确实不存在了,这种情况目前怎样设置可以让作业继续跑
--Original--
From: "Rui Li"
这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。
目前flink这边写文件的exactly
once语义是依赖HDFS的一致性保证的,如果之前写到HDFS的数据丢掉了就会破坏这个语义了(不过我们可以考虑在这种情况下让作业能继续跑)。
On Tue, Aug 10, 2021 at 7:45 PM 周瑞 wrote:
> 您好:Flink
> 写入Hive的时候,在压缩文件的时候有个待压缩的文件丢失了,导致Flink程序一直在不断重启,请问文件丢失是什么原因导致的,这种情况怎么能够让Flink程序正常启动
> 2021-08-10
您好:Flink
写入Hive的时候,在压缩文件的时候有个待压缩的文件丢失了,导致Flink程序一直在不断重启,请问文件丢失是什么原因导致的,这种情况怎么能够让Flink程序正常启动
2021-08-10 19:34:19 java.io.UncheckedIOException:
java.io.FileNotFoundException: File does not exist: