flink on yarn消费开启kerberos的kafka

Sat, 09 May 2020 01:01:17 -0700 

大家好，
        请问各位flink on yarn如何消费开启kerberos的kafka，以及如何sink到开启kerberos的hbase
        
        现在尝试过在flink-conf.yaml中添加了如下配置：
security.kerberos.login.use-ticket-cache: false
security.kerberos.login.keytab: /home/zjf/zjf.keytab
security.kerberos.login.principal: zjf@TDH
security.kerberos.login.contexts: Client,KafkaClient
zookeeper.sasl.service-name: zookeeper
zookeeper.sasl.login-context-name: Client
        
其中的keytab已经尝试过能正常运行kafka自带的发送消费shell脚本了，但是实际运行flink任务的时候，发现有org.apache.kafka.common.errors.TimeoutException:
 Timeout expired while fetching topic metadata的报错，无法消费。

        并且已经尝试过在yaml中再加入如下配置：
env.java.opts.jobmanager: -Djava.security.auth.login.config=/home/zjf/jaas.conf 
-Djava.security.krb5.conf=/home/zjf/krb5.conf -Dsun.security.krb5.debug=true
env.java.opts.taskmanager: 
-Djava.security.auth.login.config=/home/zjf/jaas.conf 
-Djava.security.krb5.conf=/home/zjf/krb5.conf  -Dsun.security.krb5.debug=true
        直接就报了cannot locate default realm的错误

        flink版本为1.8.1



zjfpla...@hotmail.com

回复