Re: flink-netty-shuffle文件占满节点磁盘

2022-02-15 文章 Yingjie Cao
磁盘占满报的错误是什么呢?是iNode不够用还是磁盘空间不够用呢?我理解这个是个目录吧:flink-netty-shuffle-b71f58a6-0fdb-437f-a6b8-6b0bbedd3dfa,是说这个目录太多了没被清理掉,导致iNode不足,还是说这个目录下的文件没被清理干净,导致磁盘空间被占满呢?如果作业停掉,会恢复吗(也就是说是说作业本身就是要用这么多磁盘,还是有泄露,即使job停掉数据依然在呢)? 另外就是作业用的什么版本的flink呢?建议开一下数据压缩,如果作业本身确实需要的磁盘空间很大,那压缩应该有利于节省磁盘空间,另外默认是hash shuffle的实现,文件很多,会

flink-netty-shuffle文件占满节点磁盘

2022-02-14 文章 智能平台
各位老师好: 执行下面代码导致所有节点磁盘占满,在本地调试时C盘也沾满了 文件名称:flink-netty-shuffle-b71f58a6-0fdb-437f-a6b8-6b0bbedd3dfa 说明: 1. 批处理模式 2.本地测试时输入目录oneDay和long大小在1G左右,启动程序后会把C(C:\Users\xxx \AppData\Local\Temp)盘剩余的几十G空间占满,部署到集群后,也会逐渐占满各节点磁盘 3.广播流blackListStream大概一万条记录,尝试把process中获取广播变量的代码和processBroadcastElement方法注释了,仍不