启动yarn-session之后好了,另外这里为什么需要yarn-session呢?其他的不行吗?

guoyb <861277...@qq.com> 于2021年5月7日周五 上午10:59写道:

> 看看yarn session是不是被kill掉了。
>
>
>
> ---原始邮件---
> 发件人: "Rui Li"<lirui.fu...@gmail.com&gt;
> 发送时间: 2021年5月7日(周五) 上午10:39
> 收件人: "user-zh"<user-zh@flink.apache.org&gt;;
> 主题: Re: Fwd: flink1.12.2 CLI连接hive出现异常
>
>
> 感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。
>
> On Fri, Apr 30, 2021 at 5:15 PM 张锴 <zk357794...@gmail.com&gt; wrote:
>
> &gt; 我没有指定,就是执行了一条查询语句,自己生成的,但是好像没彻底成功,所以日志没说哪里的问题
> &gt;
> &gt; Rui Li <lirui.fu...@gmail.com&gt; 于2021年4月30日周五 下午4:51写道:
> &gt;
> &gt; &gt; 你好,
> &gt; &gt;
> &gt; &gt; 看错误信息是找不到application_1605840182730_29292,这个是你提交任务的时候指定的么?
> &gt; &gt;
> &gt; &gt; On Thu, Apr 29, 2021 at 1:35 PM 张锴 <zk357794...@gmail.com&gt;
> wrote:
> &gt; &gt;
> &gt; &gt; &gt; 我这里生产的hive没有配置Kerberos认证
> &gt; &gt; &gt;
> &gt; &gt; &gt; 张锴 <zk357794...@gmail.com&gt; 于2021年4月29日周四 上午10:05写道:
> &gt; &gt; &gt;
> &gt; &gt; &gt; &gt; 官网有说吗,你在哪里找到的呢
> &gt; &gt; &gt; &gt;
> &gt; &gt; &gt; &gt; guoyb <861277...@qq.com&gt; 于2021年4月28日周三 上午10:56写道:
> &gt; &gt; &gt; &gt;
> &gt; &gt; &gt; &gt;&gt; 我的也有这种问题,没解决,kerberos认证的hive导致的。
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt; ---原始邮件---
> &gt; &gt; &gt; &gt;&gt; 发件人: "张锴"<zk357794...@gmail.com&amp;gt;
> &gt; &gt; &gt; &gt;&gt; 发送时间: 2021年4月28日(周三) 上午10:41
> &gt; &gt; &gt; &gt;&gt; 收件人: "user-zh"<user-zh@flink.apache.org&amp;gt;;
> &gt; &gt; &gt; &gt;&gt; 主题: Fwd: flink1.12.2 CLI连接hive出现异常
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt; ---------- Forwarded message ---------
> &gt; &gt; &gt; &gt;&gt; 发件人: 张锴 <zk357794...@gmail.com&amp;gt;
> &gt; &gt; &gt; &gt;&gt; Date: 2021年4月27日周二 下午1:59
> &gt; &gt; &gt; &gt;&gt; Subject: flink1.12.2 CLI连接hive出现异常
> &gt; &gt; &gt; &gt;&gt; To: <user-zh@flink.apache.org&amp;gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt; *使用flink1.12.2
> &gt; &gt; CLI连接hive时,可以查看到catalog,也能看到指定的catalog下的tables,但是执行select
> &gt; &gt; &gt; &gt;&gt; 语句时就出现异常。*
> &gt; &gt; &gt; &gt;&gt; [ERROR] Could not execute SQL statement. Reason:
> &gt; &gt; &gt; &gt;&gt; org.apache.hadoop.ipc.RemoteException: Application
> with id
> &gt; &gt; &gt; &gt;&gt; 'application_1605840182730_29292' doesn't exist in
> RM. Please check
> &gt; &gt; that
> &gt; &gt; &gt; &gt;&gt; the job submission was suc
> &gt; &gt; &gt; &gt;&gt; at
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:382)
> &gt; &gt; &gt; &gt;&gt; at
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:
> &gt; &gt; &gt; &gt;&gt; at
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:561)
> &gt; &gt; &gt; &gt;&gt; at
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:524)
> &gt; &gt; &gt; &gt;&gt; at
> org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1025)
> &gt; &gt; &gt; &gt;&gt; at
> org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:876)
> &gt; &gt; &gt; &gt;&gt; at
> org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:822)
> &gt; &gt; &gt; &gt;&gt; at
> java.security.AccessController.doPrivileged(Native Method)
> &gt; &gt; &gt; &gt;&gt; at
> javax.security.auth.Subject.doAs(Subject.java:422)
> &gt; &gt; &gt; &gt;&gt; at
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt;
> org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730)
> &gt; &gt; &gt; &gt;&gt; at
> org.apache.hadoop.ipc.Server$Handler.run(Server.java:2682)
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt; *使用yarn logs -applicationId&amp;nbsp;
> application_1605840182730_29292
> &gt; &gt; &gt; &gt;&gt; 查看日志时,并没有给出具体的错误,以下是打出的日志。日志几乎看不出啥问题。*
> &gt; &gt; &gt; &gt;&gt; INFO client.RMProxy: Connecting to ResourceManager
> at
> &gt; &gt; &gt; &gt;&gt; hadoop01.xxx.xxx.xxx/xx.xx.x.xx:8050
> &gt; &gt; &gt; &gt;&gt; Unable to get ApplicationState. Attempting to
> fetch logs directly
> &gt; from
> &gt; &gt; &gt; the
> &gt; &gt; &gt; &gt;&gt; filesystem.
> &gt; &gt; &gt; &gt;&gt; Can not find the appOwner. Please specify the
> correct appOwner
> &gt; &gt; &gt; &gt;&gt; Could not locate application logs for
> &gt; application_1605840182730_29292
> &gt; &gt; &gt; &gt;&gt;
> &gt; &gt; &gt; &gt;&gt; 这个如何排查呢,有遇到类似的问题的小伙伴吗
> &gt; &gt; &gt; &gt;
> &gt; &gt; &gt; &gt;
> &gt; &gt; &gt;
> &gt; &gt;
> &gt; &gt;
> &gt; &gt; --
> &gt; &gt; Best regards!
> &gt; &gt; Rui Li
> &gt; &gt;
> &gt;
>
>
> --
> Best regards!
> Rui Li

回复