Question

我在debian上安装了hadoop，工作正常。（不是在VM中）然后我重新启动计算机，它开始显示问题。我得到了错误 -

hadoop fs -ls /user/hduser

返回了这样的错误 -

16/06/15 10:48:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From localhost/127.0.0.1 to mylocalcomp:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

另一方面，jps表明事情正在运行：

6022 SecondaryNameNode
5840 DataNode
7290 Jps
6413 NodeManager
6309 ResourceManager

我的core-site.xml配置

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://mylocalcomp:9000</value>
</property>
</configuration>

我的/ etc / hosts有这个 -

127.0.0.1       localhost mylocalcomp

我的Hadoop版本是2.7.2，如果有帮助的话。在几个类似的问题中尝试了一些建议，而不是工作，我现在很困惑。

在我的.profile文件中 -

HADOOP_PREFIX=/usr/local/hadoop
JAVA_HOME=/usr/local/java
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/sbin:$HADOOP_PREFIX/bin
export HADOOP_PREFIX
export JAVA_HOME
export PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

编辑：我用start-dfs.sh和start-yarn.sh启动hadoop。并使用/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode启动名称节点。名称节点仅在几分钟内出现在jps中，并消失。

编辑2：我想问题是hdfs-site.xml中的namenode配置（或缺少它）......

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

与此相关（？） - Namenode not getting started

我不确定要为我的案例使用什么namenode配置或在哪里......

编辑3：日志文件： /usr/local/hadoop/logs/hadoop-hduser-namenode-mylocalcomp.log

Namenode log:
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = mylocalcomp/127.0.1.1
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 2.7.2

Answer 1

9000是NameNode的一个默认RPC端口。你还没有开始你的名字节点。尝试

sbin/hadoop-daemon.sh start namenode

我怀疑在计算机重新启动时曾尝试启动namenode，但它失败了。因此，如果上面的命令不起作用，请查看namenode的日志。

Debian上的单节点Hadoop：连接异常失败

1 个答案: