王佩 Thu, 22 Aug 2019 18:26:09 -0700
在Flink 1.8.0下,通过 env.readFile 实时监控目录下的新文件并处理。5千多个文件,有25个文件被遗漏。
逻辑如下: 1、一个Flink程序实时将小文件写入目录A 2、另一个Flink程序通过env.readFile、PROCESS_CONTINUOUSLY模式实时监控目录A,然后做其他操作 发现,第二个Flink程序偶尔会遗漏文件。 请教下: 为什么会有文件丢失,丢失的原因可能是什么?并行度?....