不好意思,已补充yarn的日志文件。 出现问题的原因我已经找到了,在配置flink-conf.yaml中的下面三项后,会出现分配不了资源的问题 security.kerberos.login.use-ticket-cache: false security.kerberos.login.keytab: /home/hive.keytab security.kerberos.login.principal: hive/cdh129135@MYCDH 如果在客户机使用kinit命令后再提交,yarn资源可以正常分配。 现在我有几个问题请教大佬们:
1、 提交作业到带有kerberos认证的yarn,除了kinit方式之外还有其他方式吗,为什么读配置文件中的票据会出现code 31? 2、 taskmanager.cpu.core与slot数量在yarn上面他们是相等的吗?有没有一个core分配多个slot的情况? 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: Zili Chen<mailto:wander4...@gmail.com> 发送时间: 2019年4月8日 19:29 收件人: user-zh@flink.apache.org<mailto:user-zh@flink.apache.org> 主题: Re: blink提交yarn卡在一直重复分配container 你好,apache 的邮件列表不支持内嵌图片,请以附件或链接方式引用。 Best, tison. 苏 欣 <sean...@live.com> 于2019年4月8日周一 上午10:17写道: > 我以per-job方式提交了一个作业到yarn上面,发现会出现不断重复分配container的现象。 > > 现象为从yarn的web ui上看一瞬间tm的container分配成功了,但是立刻变为只剩一个jm的container,接着会继续分配tm的 > container。不断的重复这个过程直到作业调度不到资源而失败。 > > 我查了一下exit code没找到31代表是什么意思,有没有大佬帮忙分析下,非常感谢! > > > > 发送自 Windows 10 版邮件 <https://go.microsoft.com/fwlink/?LinkId=550986>应用 > > >