________________________________
sean...@live.com

发件人: 苏 欣<mailto:sean...@live.com>
发送时间: 2019-04-09 10:30
收件人: user-zh@flink.apache.org<mailto:user-zh@flink.apache.org>
主题: 答复: blink提交yarn卡在一直重复分配container
不好意思,已补充yarn的日志文件。

出现问题的原因我已经找到了,在配置flink-conf.yaml中的下面三项后,会出现分配不了资源的问题
security.kerberos.login.use-ticket-cache: false
security.kerberos.login.keytab: /home/hive.keytab
security.kerberos.login.principal: hive/cdh129135@MYCDH
如果在客户机使用kinit命令后再提交,yarn资源可以正常分配。
现在我有几个问题请教大佬们:

1、 提交作业到带有kerberos认证的yarn,除了kinit方式之外还有其他方式吗,为什么读配置文件中的票据会出现code 31?

2、  taskmanager.cpu.core与slot数量在yarn上面他们是相等的吗?有没有一个core分配多个slot的情况?


发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用

发件人: Zili Chen<mailto:wander4...@gmail.com>
发送时间: 2019年4月8日 19:29
收件人: user-zh@flink.apache.org<mailto:user-zh@flink.apache.org>
主题: Re: blink提交yarn卡在一直重复分配container

你好,apache 的邮件列表不支持内嵌图片,请以附件或链接方式引用。

Best,
tison.


苏 欣 <sean...@live.com> 于2019年4月8日周一 上午10:17写道:

> 我以per-job方式提交了一个作业到yarn上面,发现会出现不断重复分配container的现象。
>
> 现象为从yarn的web ui上看一瞬间tm的container分配成功了,但是立刻变为只剩一个jm的container,接着会继续分配tm的
> container。不断的重复这个过程直到作业调度不到资源而失败。
>
> 我查了一下exit code没找到31代表是什么意思,有没有大佬帮忙分析下,非常感谢!
>
>
>
> 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用
>
>
>

回复