@ Jingsong
导致的影响是停止前的那个分区,分区没有提交, 当程序起来之后,写的分区和之前分区不是同一个分区,没有_SUCCESS文件标记。 用presto查询查不了




在 2020-08-12 12:11:53,"Jingsong Li" <jingsongl...@gmail.com> 写道:
>in-progress文件带来了什么具体问题吗?它们是多余的文件,对流程没有影响
>
>On Wed, Aug 12, 2020 at 11:05 AM Jark Wu <imj...@gmail.com> wrote:
>
>> 与我所知,(2) & (3) 有希望能在 1.12 中支持。
>>
>> On Tue, 11 Aug 2020 at 21:15, kandy.wang <kandy1...@163.com> wrote:
>>
>> > 1.StreamingFileWriter 测试下来目前发现,sql方式提交任务,不能从checkpoint、savepoint恢复。
>> >    举例:5min产生一个分区,数据按照process_time来落,hm= 2100 的分区, 在
>> > 21:04分左右的时候做一次checkpoint 或savepoint,重启任务的时候,hm
>> > =2100分区的数据还存在很多的in-progress文件。
>> > 另外,目前在hdfs目录下没看到pending文件,想了解一下这文件状态是如何转换的,跟之前的bucketsink好像实现不太一样。
>> >
>> >
>> > 2. sql-client不支持 checkpoint savepoint恢复的问题,何时可以支持
>> >
>> >
>> > 3.sql-client 提交任务,不支持StatementSet批量提交,何时可以支持
>>
>
>
>-- 
>Best, Jingsong Lee

回复