in-progress文件带来了什么具体问题吗?它们是多余的文件,对流程没有影响

On Wed, Aug 12, 2020 at 11:05 AM Jark Wu <imj...@gmail.com> wrote:

> 与我所知,(2) & (3) 有希望能在 1.12 中支持。
>
> On Tue, 11 Aug 2020 at 21:15, kandy.wang <kandy1...@163.com> wrote:
>
> > 1.StreamingFileWriter 测试下来目前发现,sql方式提交任务,不能从checkpoint、savepoint恢复。
> >    举例:5min产生一个分区,数据按照process_time来落,hm= 2100 的分区, 在
> > 21:04分左右的时候做一次checkpoint 或savepoint,重启任务的时候,hm
> > =2100分区的数据还存在很多的in-progress文件。
> > 另外,目前在hdfs目录下没看到pending文件,想了解一下这文件状态是如何转换的,跟之前的bucketsink好像实现不太一样。
> >
> >
> > 2. sql-client不支持 checkpoint savepoint恢复的问题,何时可以支持
> >
> >
> > 3.sql-client 提交任务,不支持StatementSet批量提交,何时可以支持
>


-- 
Best, Jingsong Lee

回复