Re: 回复:Flink HIve 文件压缩报错

2022-11-24 文章 yuxia
目前还没办法解决,目前就只能重跑了。主要为了 exactly once 语义的。不然就会丢失这个被删除的文件的数据了。 其实如果接受非 exactly once 语义 的话,我们可以让 flink 继续跑,不过目前这个还没实现。 Best regards, Yuxia - 原始邮件 - 发件人: "迎风浪子" <576637...@qq.com.INVALID> 收件人: "user-zh" 发送时间: 星期四, 2022年 11 月 24日 下午 5:55:00 主题: 回复:Flink HIve 文件压缩报错

Re: Flink HIve 文件压缩报错

2021-11-24 文章 yidan zhao
-- > > From: "Rui Li" > Date: Wed, Aug 11, 2021 07:49 PM > > To: "user-zh" > > > Subject: Re: Flink HIve 文件压缩报错 > > > > > > > > 这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。 > > > > 目前flink这边写文件的exact

Re: Flink HIve 文件压缩报错

2021-08-11 文章 Rui Li
---Original-- > From: "Rui Li" Date: Wed, Aug 11, 2021 07:49 PM > To: "user-zh" > Subject: Re: Flink HIve 文件压缩报错 > > > > 这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。 > > 目前flink这边写文件的exactly > once语义是依赖HDFS的一致性保证的,如果之前写到HDFS的数据丢掉了就

Re: Flink HIve 文件压缩报错

2021-08-11 文章 周瑞
您好: 这个文件确实不存在了,这种情况目前怎样设置可以让作业继续跑 --Original-- From: "Rui Li"

Re: Flink HIve 文件压缩报错

2021-08-11 文章 Rui Li
这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。 目前flink这边写文件的exactly once语义是依赖HDFS的一致性保证的,如果之前写到HDFS的数据丢掉了就会破坏这个语义了(不过我们可以考虑在这种情况下让作业能继续跑)。 On Tue, Aug 10, 2021 at 7:45 PM 周瑞 wrote: > 您好:Flink > 写入Hive的时候,在压缩文件的时候有个待压缩的文件丢失了,导致Flink程序一直在不断重启,请问文件丢失是什么原因导致的,这种情况怎么能够让Flink程序正常启动 > 2021-08-10

Flink HIve 文件压缩报错

2021-08-10 文章 周瑞
您好:Flink 写入Hive的时候,在压缩文件的时候有个待压缩的文件丢失了,导致Flink程序一直在不断重启,请问文件丢失是什么原因导致的,这种情况怎么能够让Flink程序正常启动 2021-08-10 19:34:19 java.io.UncheckedIOException: java.io.FileNotFoundException: File does not exist: