Hi,您好，请问如何拼接url可以看到已经结束了的任务的tm日志文件呢？
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
您好，请问一下，如何通过拼接url获取已经结束的任务的tm日志呢？
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
>
> >
> >
> >
> > -- 原始邮件 --
> > 发件人:
> > "user-zh"
> > <
> > rjia...@163.com>;
> > 发送时间: 2020年7
gt; -- 原始邮件 --
> 发件人:
> "user-zh"
> <
> rjia...@163.com>;
> 发送时间: 2020年7月14日(星期二) 下午5:31
> 收件人: "user-zh@flink.apache.org"
>
Flink在1.11开始默认使用log4j2, log4j2已经有了很多appender[1]可以用来将日志输出到外部系统或服务。
[1] https://logging.apache.org/log4j/2.x/manual/appenders.html
Best,
Yangze Guo
On Tue, Jul 14, 2020 at 4:46 PM nicygan wrote:
>
> 是有这个毛病，看TM日志不方便。
>
> 而且本地日志过几小时就会被清理，时间一久就看不到了，只剩JM日志。
>
>
>
>
>
>
> 在 2020-07-14 12:35:06，"zhishe
是有这个毛病，看TM日志不方便。
而且本地日志过几小时就会被清理，时间一久就看不到了，只剩JM日志。
在 2020-07-14 12:35:06，"zhisheng" 写道：
>知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看
>
>Yangze Guo 于2020年7月14日周二 上午11:58写道：
>
>> Hi, 王松
>>
>> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。
>>
>> Best,
>> Yangze Guo
>>
>> On T
运行的日志会越来越多 导致查看日志比较慢 大多采用elk这种方式 除了这个有没有比较好的方案推荐一下
在 2020-07-14 12:35:06，"zhisheng" 写道：
>知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看
>
>Yangze Guo 于2020年7月14日周二 上午11:58写道：
>
>> Hi, 王松
>>
>> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。
>>
>> Best,
>> Yangze Guo
>>
知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看
Yangze Guo 于2020年7月14日周二 上午11:58写道：
> Hi, 王松
>
> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。
>
> Best,
> Yangze Guo
>
> On Tue, Jul 14, 2020 at 8:26 AM 王松 wrote:
> >
> > 我们也有问题 1，和 Yangze Guo 说的一样，每次都要去对应的tm目录中去找日志，很麻烦，不知道有没有更简单的办法
Hi, 王松
我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。
Best,
Yangze Guo
On Tue, Jul 14, 2020 at 8:26 AM 王松 wrote:
>
> 我们也有问题 1，和 Yangze Guo 说的一样，每次都要去对应的tm目录中去找日志，很麻烦，不知道有没有更简单的办法。
>
> Yangze Guo 于2020年7月13日周一 下午5:03写道：
>
> > 1.
> > 我验证了一下，如果开启了日志收集，那tm的日志是会保存的，但是你整个application结束前可能看不到，有一个trick的方法，首先在jm日志中找到t
我们也有问题 1，和 Yangze Guo 说的一样，每次都要去对应的tm目录中去找日志，很麻烦，不知道有没有更简单的办法。
Yangze Guo 于2020年7月13日周一 下午5:03写道：
> 1.
> 我验证了一下，如果开启了日志收集，那tm的日志是会保存的，但是你整个application结束前可能看不到，有一个trick的方法，首先在jm日志中找到tm分配到了哪个NodeManager上，通过拼接url的方式来获取container的日志
> 2. 你是否需要调整一下重启策略[1]? 如果开启了ck，默认情况下就会一直尝试重启job
>
> [1]
> https://ci
1.
我验证了一下，如果开启了日志收集，那tm的日志是会保存的，但是你整个application结束前可能看不到，有一个trick的方法，首先在jm日志中找到tm分配到了哪个NodeManager上，通过拼接url的方式来获取container的日志
2. 你是否需要调整一下重启策略[1]? 如果开启了ck，默认情况下就会一直尝试重启job
[1]
https://ci.apache.org/projects/flink/flink-docs-master/zh/dev/task_failure_recovery.html
Best,
Yangze Guo
On Mon, Jul
不好意思 怪我灭有描述清楚
1 目前开启日志收集功能
2 目前已是 per-job模式
3 集群使用cdh flink.1.10
在 2020-07-13 11:18:46，"Yangze Guo" 写道：
>Hi,
>
>第一个问题，您可以尝试开启Yarn的日志收集功能[1]
>
>第二个问题，您可以尝试一下per-job mode [2][3]
>
>[1]
>https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#log-file
Hi,
第一个问题，您可以尝试开启Yarn的日志收集功能[1]
第二个问题，您可以尝试一下per-job mode [2][3]
[1]
https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#log-files
[2]
https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/#per-job-mode
[3]
https://ci.apache.org/projects
请问一下两个问题
1 flink on yarn的时候 taskmanager 挂掉的时候 上面的日志会被删除掉 无法查看 ，除了使用es收集日志的这种方案，
还有没有可以使taskmanager 挂掉，相关日志仍然可以保留。
2 flink on yarn模式 当由于错误导致taskmanager 挂掉，但是jobmanager 却一直存在， 有没有好的方式或者策略 ，
可以是当task失败 达到重试次数之后 taskmanager挂掉，jobmanager也挂掉
14 matches
Mail list logo
