我在使用flink 1.8 自定义 FileInputFormat
的时候遇到了不兼容问题,初步看了源代码,不知道自己得出的结论是否正确,并想了解一下后续趋势和进展,麻烦各位大佬抽空指点一下,先行感谢~~
问题1: StreamExecutionEnvironment 为什么要做这样的限制?ContinuousFileMonitoringFunction
的作用是什么?
相关的代码描述如下
StreamExecutionEnvironment 对 FileInputFormat 对象有特殊的处理逻辑
if (inputFormat instanceof FileInp
Hi,
你的需求是什么?下列哪种?
- 1.想用unbounded source,continuous的file source,监控文件夹,发送新文件,且需要支持多文件夹
- 2.只是想用bounded的input format,需要支持多文件
如果是1,现在仍然不支持。
如果是2,那你可以用env.addSource(new InputFormatSourceFunction(..)...)来支持多文件。
Best,
Jingsong Lee
--
Fr
ngLee"< lzljs3620...@aliyun.com.INVALID >;
>
> 发件时间:2020/3/4 17:40
>
> 收件人:"user-zh"< user-zh@flink.apache.org >;
>
> 主题: Re: flink 1.8 内的StreamExecutionEnvironment 对于 FileInputFormat 多file
> path 不兼容问题咨询
>
>
>
> Hi, 你的需求是什么?下列哪种? - 1.想用unb
8 内的StreamExecutionEnvironment 对于 FileInputFormat 多file path
不兼容问题咨询
Hi, 你的需求是什么?下列哪种? - 1.想用unbounded source,continuous的file
source,监控文件夹,发送新文件,且需要支持多文件夹 - 2.只是想用bounded的input format,需要支持多文件 如果是1,现在仍然不支持。
如果是2,那你可以用env.addSource(new InputFormatSourceFunction(..