配置Kafka Connect HDFSinkNode进行Kerberos身份验证

时间:2019-07-15 16:28:00

标签: hadoop apache-kafka kerberos apache-kafka-connect

https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html,列出了以下示例属性:

hdfs.authentication.kerberos=true
connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COM
connect.hdfs.keytab=path to the connector keytab
hdfs.namenode.principal=namenode principal

可悲的是,https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html上用于配置选项的文档很简短,几乎没有用。

作为Hadoop的使用者而不是管理员,我对它的配置非常模糊。

有人可以解释一下connect.hdfs.principalhdfs.namenode.principal的用途吗?

1 个答案:

答案 0 :(得分:0)

主体就像Kerberos中的用户名。如果您是Hadoop的使用者,并且需要在处理任何数据之前先初始化密钥表,则已被分配了一个主体。 Connect服务应具有其自己的密钥表,并因此具有主体,即列出的第一个属性

您必须找到谁为Hadoop群集设置了Kerberos(即admin)来确定Namenode主体是什么,但是简短的答案是这些设置用于身份验证以向HDFS发出写入请求。尽管我不确定为什么您明确需要Namenode主体,但Connect(作为Hadoop客户端)与namenode联系以写入数据,因此内部可能会进行一些验证

相关问题