本地Hadoop MapReduce作业无法加载库并且无法在OS X上进行连接

时间:2015-01-05 01:30:36

标签: java hadoop mapreduce osx-yosemite

我正在尝试在OS X Yosemite上运行hadoop。当我按照http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html的说明操作时,我配置了hadoop,并启动了$ sbin / start-dfs.sh,然后用jps检查得到了输出:

17237 DataNode
17324 SecondaryNameNode
17388 Jps

然而,当我尝试&#34; bin / hdfs dfs -mkdir / user&#34;时,hadoop无法加载库(在我运行其他示例时也发生了同样的情况),并显示连接失败:< / p>

$ bin/hdfs dfs -mkdir /user
15/01/05 03:19:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
mkdir: Call From *.local/192.*.*.* to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

1 个答案:

答案 0 :(得分:1)

看起来namenode没有运行。在HDFS中,namenode是充当主守护程序的一个,它负责处理来自HDFS客户端的所有请求。应该在执行start-dfs.sh脚本时启动Namenode。在启动hdfs服务之前检查是否已格式化HDFS,如果未格式化HDFS,请使用以下命令格式化HDFS,并使用命令stop-dfs.sh和start-dfs.sh再次停止并启动HDFS服务

hadoop namenode -format