Question

当我运行像hadoop fs -ls这样的hadoop命令时，我收到以下错误/警告：

16/08/04 11:24:12 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
ls: Call From master/172.17.100.54 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

我是否对hadoop路径做错了什么？

Answer 1

Hadoop本地库指南说它有些与之相关安装。请检查文档以解决此问题。

Native Hadoop Library

出于性能原因和Java实现的不可用性，Hadoop具有某些组件的本机实现。这些组件在单个动态链接的本机库中可用，称为本机hadoop库。在* nix平台上，库名为libhadoop.so.

请注意以下事项：

必须在目标平台上安装 zlib 和 gzip 开发包才能构建本机hadoop库;但是，对于部署，如果您只想使用一个编解码器，则只安装一个包就足够了。为了构建和部署本机hadoop库，必须为 zlib 提供正确的32/64库，具体取决于目标平台的32/64位jvm。

<强> 运行

bin/hadoop脚本通过系统属性确保本机hadoop库位于库路径上：-Djava.library.path=<path>

在运行时，检查hadoop日志文件以查找MapReduce任务。

如果一切顺利，那么：DEBUG util.NativeCodeLoader - Trying to load the custom-built native-hadoop library... INFO util.NativeCodeLoader - Loaded the native-hadoop library

如果出现问题，请：INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

<强> 检查

NativeLibraryChecker是一个检查本机库是否正确加载的工具。您可以按如下方式启动NativeLibraryChecker

   $ hadoop checknative -a
   14/12/06 01:30:45 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
   14/12/06 01:30:45 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
   Native library checking:
   hadoop: true /home/ozawa/hadoop/lib/native/libhadoop.so.1.0.0
   zlib:   true /lib/x86_64-linux-gnu/libz.so.1
   snappy: true /usr/lib/libsnappy.so.1
   lz4:    true revision:99
   bzip2:  false

连接被拒绝的第二件事是与您的设置相关的事情。请仔细检查设置。 另见下面的指针..

Hadoop cluster setup - java.net.ConnectException: Connection refused

Hadoop - java.net.ConnectException: Connection refused

Hadoop命令`hadoop fs -ls`给出ConnectionRefused错误

1 个答案: