Re:如何在Flink Connector Source退出时清理资源

2023-10-23 文章 Xuyang
Hi, 看一下你的DynamicTableSource实现的类,如果你用的是InputFormat的旧source(用的是类似InputFormatProvider.of),可以使用InputFormat里的close方法; 如果用的是flip-27的source(用的是类似SourceProvider.of),SplitReader里也有一个close方法 -- Best! Xuyang 在 2023-10-24 11:54:36,"jinzhuguang" 写道: >版本:Flink 1.16.0 >

如何在Flink Connector Source退出时清理资源

2023-10-23 文章 jinzhuguang
版本:Flink 1.16.0 需求:在某个source结束退出时清理相关的资源。 问题:目前没有找到Source退出时相关的hook函数,不知道在哪里编写清理资源的代码。 恳请大佬们指教。

Re: Problems with the state.backend.fs.memory-threshold parameter

2023-10-23 文章 rui chen
Hi,Zakelly Thank you for your answer. Best, rui Zakelly Lan 于2023年10月13日周五 19:12写道: > Hi rui, > > The 'state.backend.fs.memory-threshold' configures the threshold below > which state is stored as part of the metadata, rather than in separate > files. So as a result the JM will use its memory