如何使用Java中的hadoop-core配置来配置客户端

Question

关于使用hadoop的客户端我有几个问题。

1. 如何指定用户名和密码？如果不能，客户端将使用windows的用户访问hadoop，但我怀疑它是否安全。

2. 我可以使用Configuration设置多少个参数？我可以在其中设置用户名和密码吗？

Answer 1

对于（1）：

Hadoop的安全性不是基于密码的，而是基于 kerberos的。您可以阅读有关其安全架构here的更多信息，并查找有关为最新版本here配置它的指南。

您注意到的API（根据您的上述评论）是一种模拟其他用户名的机制（如果主服务器允许），而不是安全措施。

对于（2）：

理论上，您可以设置尽可能多的配置键值参数，只要它在mapred.user.jobconf.limit（默认为5 MB）下，在JobTracker中受限制。

Answer 2

我找到了FileSystem类型的方法，它使用jar版本0.20.205.0命名为get（URI uri，配置配置，字符串用户名）。它不需要密码。 谢谢大家。