Re: 使用 StreamingFileSink后 checkpoint状态中的数据如何hive读取

2020-11-30 文章 admin
hi， 你需要使用oncheckpoint的policy，这样在每次Checkpoint时会滚动文件 > 2020年11月30日 下午4:57，liliang <904716...@qq.com> 写道： > > 本人使用的StreamingFileSink将数据按照行保存到hdfs中 > StreamingFileSink streamingFileSink = StreamingFileSink. >forRowFormat(new Path(path), new > SimpleStringEncoder("UTF-8")) >

使用 StreamingFileSink后 checkpoint状态中的数据如何hive读取

2020-11-30 文章 liliang
本人使用的StreamingFileSink将数据按照行保存到hdfs中 StreamingFileSink streamingFileSink = StreamingFileSink. forRowFormat(new Path(path), new SimpleStringEncoder("UTF-8")) .withBucketAssigner(bucketAssigner) .withRollingPolicy(