Hadoop 2.5.2响应速度慢

Question

根据当前运行Hadoop 2.5.2的16GB ram的MacBook pro上的文档，我设置OS X 10.9.5是伪分布式模式。

一切似乎都有效，但 问题 是非常慢的。

• start-dfs.sh需要3-5分钟才能启动namenodes
• hdfs dfs -ls /需要大约一两分钟才能运行。

我没有收集数据，也没有在文档之外做任何事情。 我已经尝试了export HADOOP_ROOT_LOGGER=DEBUG，但我没有得到任何额外的输出，或者在日志中看到任何异常。也许我不是在寻找合适的地方。

我见过的唯一一个错误，我一直看到老版本的hadoop：

"Unable to load realm info from SCDynamicStore"

为什么一切都可能如此缓慢的任何想法？另外，根据我的Activity Monitor，我几乎没有使用任何资源。

我在运行dfs -ls

时在我的namenode日志中注意到了这一点

2014-11-25 11:47:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:47:54,063 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2014-11-25 11:47:54,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds
2014-11-25 11:48:24,064 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 0 millisecond(s).
2014-11-25 11:48:54,065 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30001 milliseconds

配置

核心现场：

<configuration>
  <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

HDFS现场：

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
</configuration>

的NameNode

Answer 1

没有别的可以尝试，我决定尝试删除“无法从SCDynamicStore加载领域信息”警告。解决方法是设置HADOOP_OPTS。

虽然执行以下操作并未删除警告，但由于某些原因导致我的速度问题无法解决。

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK
-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

如果有人能解释原因，我肯定会接受这个答案。