这个配置读到了,可以在webui 里看到这个配置internal .yarn.log-configure-file
------------------ 原始邮件 ------------------ 发件人: r pp <pr123sha...@gmail.com> 发送时间: 2021年6月7日 17:24 收件人: smq <374060...@qq.com>, user-zh <user-zh@flink.apache.org> 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志 好的,如果log 文件就没有产生,是真的没有产生,还有一个flink 的原因是,没有读取到日志的配置文件。 smq <374060...@qq.com> 于2021年6月7日周一 下午3:31写道: 判断出确失这个.log是因为从yarn 上的logs中就看不到jobmanager .log 这个文件,正常的是会有jobmanager.log文件,然后根据这个application id 去搜索containnerid 也是找不到这个jobmanager .log 。正常的程序这三个文件是在一个containerid 目录下在一起的,不正常的就是同一个containerID目录下只有这两个文件,这是对此很多次之后发现的。还有就是我说的完全一样的两个程序是打成两个jar 包的,这两个程序是在不同模块下,为了找到原因,已经改成了完全一样的程序,但是结果还是之前正常的每次运行都正常,不正常的这个改成跟正常的程序一摸一样还是运行不正常。经过这一周多的测试发现,这个结果不是随机出现的。所以就感觉很奇怪。 ------------------ 原始邮件 ------------------ 发件人: r pp <pr123sha...@gmail.com> 发送时间: 2021年6月7日 13:55 收件人: smq <374060...@qq.com> 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志 补充下,我刚刚的疑惑, 你说的缺失 ,是没有log 文件,还是说在同一个文件目录下没有看到 log,只看到了 out err,其实,不确定log 是不是在别的地方? r pp <pr123sha...@gmail.com> 于2021年6月7日周一 下午1:42写道: 你说的缺失是指?是指在本地机器上的文件就缺失log 么?如果,本地机器上文件都有(3个,全的)。为什么 flink-web ui 只显示两个呢?如果,本地机器上 只有两个(缺失了log),那缺失的log 文件路径有是哪个呢? 同一个Jar 运行,日志一会ok ,一会儿 不ok, 是不是 有别的程序 在挪动文件路径呢? smq <374060...@qq.com> 于2021年6月7日周一 上午10:49写道: 你好,正常情况下flink on yarn 的container 日志中应该有.err .out .log 这三个日志,你贴的这个-slog.file 应该就是jobmanager .log 的位置,但是我这个程序是没有.log日志这个文件的,只有err 和out ,我试着在程序containner 里查看日志,发现能正常显示日志的container 中有以上三种日志,不能正常显示日志的程序中,只有两个日志,没有.log日志文件。所以也看不到运行时的一些info信息。我觉得这个是yarn创建的日志文件,目前还没找到原因。我尝试过运行两个一模一样的程序,打成两个jar 包,但是其中一个正常,另一个不正常,这种情况不影响程序运行,只是缺一些日志。 ------------------ 原始邮件 ------------------ 发件人: r pp <pr123sha...@gmail.com> 发送时间: 2021年6月4日 18:17 收件人: user-zh <user-zh@flink.apache.org>, smq <374060...@qq.com> 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志 上封,复制错了,更正下,看时间顺序。 日志启动 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint. ClusterEntrypoint [] - -Dlog .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log cluster 启动 2021-06-04 17:38:15,425 INFO org.apache.flink.runtime.entrypoint. ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user obtainer: hdfs r pp <pr123sha...@gmail.com> 于2021年6月4日周五 下午6:11写道: > 嗨~ > 我这边是 per-job on yarn 的mode > > 我查看的 yarn 的container 的日志信息,一般在程序初始化的时候,就会生产日志名,日志路径,变成环境env, > 然后 形成config ,再启动 cluster。 > > 而日志路径 是yarn 的配置模式取好的,之后 flink 的获取这个信息,用于web 展示。 > > 所以,你可能需要定位 你的日志文件路径 是否有改变,我做test,改变日志名,flink-web 还是可以正常显示 > ,但是改变路径,flink-web 就无法显示了 > > 但是具体的差异可能无法细化了,所提供的信息太少 > env 环境信息 > 2021-06-04 17:38:15,417 INFO org.apache.flink.runtime.entrypoint. > ClusterEntrypoint [] - -Dlog > .file=/yarn/container-logs/application_1622784975053_0013/container_1622784975053_0013_01_000001/jobmanager.log > cluster 启动信息 > 2021-06-04 16:47:01,429 INFO org.apache.flink.runtime.entrypoint. > ClusterEntrypoint [] - YARN daemon is running as: hdfs Yarn client user > obtainer: hdfs > > zilong xiao <acidzz...@gmail.com> 于2021年6月3日周四 下午2:17写道: > >> 1.10默认用的log4j1,1.12用log4j2 >> >> smq <374060...@qq.com> 于2021年6月2日周三 下午3:26写道: >> >> > >> > >> 你的意思是在log4j.properties中的配置吗,我门在这个里边配置了生成日志文件的格式,是在安装节点里加的,不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的,但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12,这种情况在1.12出现的 >> > >> > >> > >> > >> > >> > ------------------ 原始邮件 ------------------ >> > 发件人: r pp <pr123sha...@gmail.com&gt; >> > 发送时间: 2021年6月2日 15:08 >> > 收件人: user-zh <user-zh@flink.apache.org&gt; >> > 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志 >> > >> > >> > >> > 嗨~&nbsp; 你们有没有改日志文件的名字 >> > >> > smq <374060...@qq.com&gt; 于2021年6月2日周三 下午12:24写道: >> > >> > &gt; 你这个解决了吗,我也遇到了同样的问题 >> > &gt; >> > &gt; >> > &gt; >> > &gt; >> > &gt; >> > &gt; ------------------ 原始邮件 ------------------ >> > &gt; 发件人: todd <todd5...@163.com&amp;gt; >> > &gt; 发送时间: 2021年4月14日 19:11 >> > &gt; 收件人: user-zh <user-zh@flink.apache.org&amp;gt; >> > &gt; 主题: 回复:flink1.12版本,yarn-application模式Flink web ui看不到日志 >> > &gt; >> > &gt; >> > &gt; >> > &gt;&nbsp; yarn上只有.out,.error的日志信息,但是从flink web ui的log框,无法显示日志内容。 >> > &gt; >> > &gt; >> > &gt; >> > &gt; -- >> > &gt; Sent from: http://apache-flink.147419.n8.nabble.com/ >> > >> > >> > >> > -- >> > Best, >> > &nbsp; pp >> > > > -- > Best, > pp > -- Best, pp -- Best, pp -- Best, pp -- Best, pp