Question

我正在尝试连接到在Cloudera上运行的HDFS实例。我的第一步是启用Kerberos并创建Keytabs（如图here所示）。

在下一步中，我想使用keytab进行身份验证。

Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://cloudera:8020");
conf.set("hadoop.security.authentication", "kerberos");

UserGroupInformation.setConfiguration(conf);
UserGroupInformation.loginUserFromKeytab("hdfs@CLOUDERA", "/etc/hadoop/conf/hdfs.keytab");

FileSystem fs = FileSystem.get(conf);
FileStatus[] fsStatus = fs.listStatus(new Path("/"));
for (int i = 0; i < fsStatus.length; i++) {
    System.out.println(fsStatus[i].getPath().toString());
}

失败并出现以下错误

java.io.IOException：来自keytab的hdfs @ CLOUDERA登录失败 /etc/hadoop/conf/hdfs.keytab： javax.security.auth.login.LoginException：无法获取密码来自用户

问题是：如何正确处理密钥表？我必须将它复制到我的本地机器吗？

Answer 1

在Windows上运行Hadoop客户端以访问kerberized群集时，您需要特定的“本机库”（即DLL）。据我所知，没有充分的理由，因为lib实际上并没有在一些自动回归测试之外使用（！？！），因此Hadoop提交者对Hadoop用户造成了痛苦。

为了增加额外的痛苦，没有正式构建该DLL（以及允许从Java使用它的Windows“存根”）。您必须（a）自己从源代码构建它 - 祝您好运 - 或者（b）在互联网上搜索可下载的Hadoop-for-Windows运行时，以及祈祷不包含任何恶意软件最好的选择（对于64位Windows）在这里：https://github.com/steveloughran/winutils
...而自述文件解释了为什么你可以合理地相信运行时。但如果您遇到旧的32位Windows，那么您就是自己的。

现在让我们假设您在Windows下的Windows框中部署了该运行时 C:\Some Dir\hadoop\bin\ （最终bin是必需的;嵌入式空间只是额外的乐趣）

您必须使用几个Java属性将Hadoop客户端指向该运行时：
"-Dhadoop.home.dir=C:/Some Dir/hadoop" "-Djava.library.path=C:/Some Dir/hadoop/bin"
（注意Windows args整体上的双引号，以保护路径中的嵌入空间，这些空间已被翻译为Java风格以获得额外的乐趣）
（在Eclipse中，只是将这些道具填入“VM Arguments”，包括引号）

现在，有Kerberos配置。如果您的KDC是您的公司Active Directory服务器，那么Java应该自动找到配置参数。但是，如果您的KDC是在Linux上安装的独立“MIT Kerberos”，那么您必须在群集上找到有效的/etc/krb5.conf文件，将其复制到Windows框中，并让Java将其与其他属性一起使用。。
"-Djava.security.krb5.conf=C:/Some Other Dir/krb5.conf"

然后假设您已经使用ktutil（或使用某些AD命令为您创建的Active Directory管理员）在Linux机器上创建了keytab文件，并将文件放在了{{{ 1}}
除此之外，如果keytab用于真正的Windows帐户 - 即您自己的帐户 - 或Prod服务帐户，那么确保密钥表是安全的！使用Windows安全性对话框仅限（可能是系统，备份）的帐户访问权限。因为该文件可以使任何计算机上的任何人在群集（以及任何支持Kerberos的系统，包括Windows）上进行身份验证。

现在您可以尝试使用
进行身份验证 C:\Some Other Dir\foo.keytab

如果不起作用，请使用环境变量
启用Kerberos调试跟踪 UserGroupInformation.loginUserFromKeytab("foo@BAR.ORG", "C:/Some Other Dir/foo.keytab");
......和Java属性
set HADOOP_JAAS_DEBUG=true
（在Eclipse中，分别在“环境”和“VM参数”中设置这些）

Answer 2

您是否设置了适当的权限？

 chown hdfs:hadoop /etc/hadoop/conf/hdfs.keytab
 chmod 440 /etc/hadoop/conf/hdfs.keytab

使用Windows中的Java和Kerberos Keytab在Cloudera上访问HDFS

2 个答案: