Re: Flink-yarn模块加载外部文件的问题

2020-12-06 文章 Xintong Song
Hi, 你指的是 `yarn.provided.lib.dirs` 吗? 这个地方设计的时候确实是只考虑到了 hdfs,没有考虑 http 文件。 我刚刚也和熟悉 hadoop 的朋友确认了一下,从 yarn 的层面上应该也是支持 http 文件的,所以 flink 最好也是能支持 http 文件。 由于整个 feature 在设计的时候都没有考虑到 http 文件的问题,不确定修复了正则匹配的问题后是否还会有其他问题。 我开了 FLINK-20505 来跟踪 provided lib 支持 http 文件的整体进度。

Flink-yarn模块加载外部文件的问题

2020-12-06 文章 zhou chao
hi all, 最近在1.11上使用io.extra-file加载外部http文件出现一点小问题 由于http的文件在FileSystem.getFileStatus去拿状态时会走HttpFileSystem的类的getFileStatus方法,该方法返回的FileStatus中length为-1。 在client端校验通过后,在decodeYarnLocalResourceDescriptor的时候会碰到问题。 异常如下: 2020-12-04 17:01:28.955 ERROR org.apache.flink.yarn.YarnResourceManager - Could