Flink-1.11.2版本 Filesystem-connector 问题

2021-03-11 Thread 史 正超
问题现象是这样的 1. flink 实时的往hdfs 目录 /warehouse/rt_ods/ed_cell_num_info/写数据,以天为分区 2. 然后我们启动了一个定时任务在 hive上新建partition,是T - 1的,比如今天6点执行,新建 昨天 的分区。 3. 会报,inprogress文件找不到的错误,错误如下 : ``` org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flin

Flink-1.11.2版本 Filesystem-connector 问题

2021-03-11 Thread 史 正超
问题现象是这样的 1. flink 实时的往hdfs 目录 /warehouse/rt_ods/ed_cell_num_info/写数据,以天为分区 2. 然后我们启动了一个定时任务在 hive上新建partition,是T - 1的,比如今天6点执行,新建 昨天 的分区。 3. 会报,inprogress文件找不到的错误,错误如下 : ``` org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.fli

Flink-1.11.2版本FileSystem connector问题

2021-03-11 Thread 史 正超
问题现象是这样的 1. flink 实时的往hdfs 目录 /warehouse/rt_ods/ed_cell_num_info/写数据,以天为分区 2. 然后我们启动了一个定时任务在 hive上新建partition,是T - 1的,比如今天6点执行,新建 昨天 的分区。 3. 会报,inprogress文件找不到的错误,错误如下 : ``` org.apache.flink.streaming.runtime.tasks.AsynchronousException: Caught exception while processing timer. at org.apache.flin