在https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html,列出了以下示例属性:
hdfs.authentication.kerberos=true
connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COM
connect.hdfs.keytab=path to the connector keytab
hdfs.namenode.principal=namenode principal
可悲的是,https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html上用于配置选项的文档很简短,几乎没有用。
作为Hadoop的使用者而不是管理员,我对它的配置非常模糊。
有人可以解释一下connect.hdfs.principal
和hdfs.namenode.principal
的用途吗?
答案 0 :(得分:0)
主体就像Kerberos中的用户名。如果您是Hadoop的使用者,并且需要在处理任何数据之前先初始化密钥表,则已被分配了一个主体。 Connect服务应具有其自己的密钥表,并因此具有主体,即列出的第一个属性
您必须找到谁为Hadoop群集设置了Kerberos(即admin)来确定Namenode主体是什么,但是简短的答案是这些设置用于身份验证以向HDFS发出写入请求。尽管我不确定为什么您明确需要Namenode主体,但Connect(作为Hadoop客户端)与namenode联系以写入数据,因此内部可能会进行一些验证