Re: flink filesystem 1.7.2 on Hadoop 2.7 BucketingSink.reflectTruncat() 有写入很多小文件到hdfs的风险

2019-06-24 文章 wxy
感谢大佬的解决,1.8确实已经修改 > On Jun 24, 2019, at 3:49 PM, Biao Liu wrote: > > 你好,看了下代码,1.7.2 确实有这问题,最新的代码已经 fix,见[1] > 如果可以的话,升级到1.8.0就包含了该 fixing > > 1. > https://github.com/apache/flink/commit/24c2e17c8d52ae2f0f897a5806a3a44fdf62b0a5 > > 巫旭阳 于2019年6月24日周一 下午2:40写道: > >> 源码在 BucketingSink 615行 >>

Re: flink filesystem 1.7.2 on Hadoop 2.7 BucketingSink.reflectTruncat() 有写入很多小文件到hdfs的风险

2019-06-24 文章 Biao Liu
你好,看了下代码,1.7.2 确实有这问题,最新的代码已经 fix,见[1] 如果可以的话,升级到1.8.0就包含了该 fixing 1. https://github.com/apache/flink/commit/24c2e17c8d52ae2f0f897a5806a3a44fdf62b0a5 巫旭阳 于2019年6月24日周一 下午2:40写道: > 源码在 BucketingSink 615行 > Path testPath = new Path(basePath, UUID.randomUUID().toString()); > try

flink filesystem 1.7.2 on Hadoop 2.7 BucketingSink.reflectTruncat() 有写入很多小文件到hdfs的风险

2019-06-24 文章 巫旭阳
源码在 BucketingSink 615行 Path testPath = new Path(basePath, UUID.randomUUID().toString()); try (FSDataOutputStream outputStream = fs.create(testPath)) { outputStream.writeUTF("hello"); } catch (IOException e) { LOG.error("Could not create file for checking if truncate works.", e); throw new