Re:Re:Re:请教各位大佬,flink读取hdfs文件时的疑问

2021-07-26 文章 wanggaoliang
确切的说我已经遇到了这种问题,就是读入了penging或者in-progress状态的文件,然后就报FileNotFoundException了, 是偶现的。那这种情况下除了重新编译FileInputFormat.java文件,过滤掉这两种状态的文件外,flink中还有没有提供什么其他解决办法? 在 2021-07-26 16:34:19,"Michael Ran" 写道: 你尝试下 用java 读取文件过程中,改文件名 或者移动文件。会异常 在 2021-07-26 15:19:39,"wanggaoliang" <18838915...@163.com> 写道:

Re:Re:请教各位大佬,flink读取hdfs文件时的疑问

2021-07-26 文章 Michael Ran
你尝试下 用java 读取文件过程中,改文件名 或者移动文件。会异常 在 2021-07-26 15:19:39,"wanggaoliang" <18838915...@163.com> 写道: 在 2021-07-26 14:56:00,"wanggaoliang" <18838915...@163.com> 写道: flink读取hdfs文件时,FileInputFormat.java类中,acceptFile()方法默认过滤掉了以"_"和"."开头的文件,那如果读入了in-progress文件和.pending文件,

请教各位大佬,flink读取hdfs文件时的疑问

2021-07-26 文章 wanggaoliang
flink读取hdfs文件时,FileInputFormat.java类中,acceptFile()方法默认过滤掉了以"_"和"."开头的文件,那如果读入了in-progress文件和.pending文件, 在执行open()方法时,突然in-progress或.pending文件状态发生了改变而导致原来的文件路径消失,会不会出现什么问题?或者是有没有可能出现这种情况?