Hadoop独立 - hdfs命令很慢

时间:2016-01-15 17:20:51

标签: hadoop hdfs kerberos

我正在使用Hadoop 2.6.2在Ubuntu 14.04虚拟机上进行开发/研究,并且我不断受阻,因为我向hdfs发出的任何命令总是需要大约15秒才能运行。我试过挖掘,但我无法找到问题的根源,或者即使这是预期的行为。

我跟着directions on Apache's website并成功启动并在/opt/hadoop-2.6.2 /

中正常运行

以下是一个简单的测试命令,我用它来评估我是否解决了这个问题。

/opt/hadoop-2.6.2/bin/hdfs dfs -ls /

我检查了日志,发现没有错误或奇怪的警告。我在网上找到的建议是设置记录器以输出控制台。

HADOOP_ROOT_LOGGER=DEBUG,console /opt/hadoop-2.6.2/bin/hdfs dfs -ls /

这样做可以产生一些有趣的东西。您可以在以下内容之间观看它。

16/01/15 11:59:02 DEBUG impl.MetricsSystemImpl: UgiMetrics, User and group related metrics
16/01/15 11:59:17 DEBUG util.KerberosName: Kerberos krb5 configuration not found, setting default realm to empty

思考:当我第一次看到这个时,我认为它是在挂起身份验证,但不仅我没有安装Kerberos,core-site.xml的默认配置显示身份验证模式设置为“简单”。这让人想知道为什么它会寻找与之相关的任何Kerberos。我试图在xml中专门禁用它,并且滞后/慢速没有消失。我有点觉得延迟是因为它的等待时机。还有其他人有什么想法吗?

1 个答案:

答案 0 :(得分:0)

我只是继续安装Kerberos,只是为了看看它是否可行。由于/etc/krb5.conf存在,大的延迟已经消失。我想知道我是否可以在其中创建没有任何内容的文件。 Hrmmm ...

sudo apt-get install krb5-kdc krb5-admin-server