如何在Hadoop中加载本机库

时间:2016-09-11 04:07:06

标签: java hadoop hdfs native libraries

关于这个命令
hadoop checknative -a

输出是:

16/09/11 09:03:15 WARN util.NativeCodeLoader: Unable to load native-hadoop   library for your platform... using builtin-java classes where applicable  
Native library checking:
hadoop:  false 
zlib:    false 
snappy:  false 
lz4:     false 
bzip2:   false 
openssl: false 
16/09/11 09:03:15 INFO util.ExitUtil: Exiting with status 1

如何解决它

1 个答案:

答案 0 :(得分:0)

官方hadoop网站上有一个指南:https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/NativeLibraries.html

  

使用原生hadoop库相当容易:

     
      
  1. 查看组件。
  2.   
  3. 查看支持的平台。
  4.   
  5. 下载hadoop版本,其中包括本机hadoop库的预构建版本,或者构建您自己的本机hadoop库版本。无论是下载还是构建,库的名称都是相同的:libhadoop.so
  6.   
  7. 安装压缩编解码器开发包(> zlib-1.2,> gzip-1.2):+如果下载库,请安装一个或多个开发包 - 无论您希望在部署中使用哪种压缩编解码器。 +如果您构建库,则必须安装两个开发包。
  8.   
  9. 检查运行时日志文件。
  10.