Windows上的Hadoop安装:无法为您的平台加载本地hadoop库...在适当情况下使用内置java类

时间:2018-07-22 14:59:11

标签: hadoop

我在尝试在Windows 10上安装hadoop版本2.8.3时出现无法为您的平台加载native-hadoop库...使用内置Java类错误的情况。 / p>

我在hadoop-env.cmd文件中设置了以下环境变量: 设置HADOOP_OPTS =%HADOOP_OPTS%-Djava.library.path =%HADOOP_HOME%/ lib / native

另外,我添加了以下配置

yarn-site.xml

<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

core-site.xml:

<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

hdfs-site.xml:

<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>/F:/tools/hadoop-2.8.3/data/datanode</value>
   </property>
</configuration>

mapred-site.xml:

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

I have renamed mapred-site.xml.template file to mapred-site.xml

请让我知道我在这里做错了什么

我被困在这个装置中已经很久了。请帮助。

2 个答案:

答案 0 :(得分:0)

我在Windows 10上也遇到了hadoop 2.9.1的相同问题,我能够格式化namenode但无法启动-dfs。

我遵循building.txt建议,使用Visual Studio 2017社区,mvn等在Windows平台的开发主机中正确构建了源代码(包括winutils.exe和hadoop.dll),但是当我尝试以干净的方式运行时Windows 10安装我在dfs节点启动时遇到无法加载本机hadoop库错误。

我运行winutils.exe并给我一个错误:

  

“缺少VCRuntime140.dll”

我安装了vc ++ 2015 x64可再发行组件并解决了这个问题,namenode和datanode up。除了HADOOP_HOME之外,无需设置环境变量,并遵循https://wiki.apache.org/hadoop/Hadoop2OnWindows中解释的hadoop-env.com中的编辑。

此外,这是hadoop checknative命令的结果:

  

C:\ APACHE \ HADOOP \ bin> hadoop校验
  18/09/08 18:23:35 WARN bzip2.Bzip2Factory:无法加载/初始化系统本地的native-bzip2库,将使用纯Java版本
  18/09/08 18:23:35 WARN zlib.ZlibFactory:无法加载/初始化native-zlib库
  winutils:true C:\ APACHE \ HADOOP \ bin \ winutils.exe
  本机库检查:
  hadoop:true C:\ APACHE \ HADOOP \ bin \ hadoop.dll
  zlib:false
  snappy:错误
  zstd:false
  lz4:真实修订版:10301
  bzip2:false
  openssl:错误的构建不支持openssl。   winutils:正确的C:\ APACHE \ HADOOP \ bin \ winutils.exe

答案 1 :(得分:-1)

窗口操作系统不是安装hadoop的最佳选择,您可以使用ubuntu进行安装,并且您可以双重引导系统,并且可以在单个系统中同时使用两个操作系统;对于在ubuntu中进行hadoop的安装,可以使用以下{{3} }