Question

我正在尝试部署hadoop 2.5.0的独立版本。但Datanode无法启动。记录打印：

2014-10-20 13:42:13,288 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Exception in secureMain
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Ljava/lang/String;Ljava/lang/String;I)Ljava/io/FileDescriptor;
  at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Native Method)
  at org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.create(SharedFileDescriptorFactory.java:87)
  at org.apache.hadoop.hdfs.server.datanode.ShortCircuitRegistry.<init>(ShortCircuitRegistry.java:165)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.initDataXceiver(DataNode.java:586)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:773)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:292)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1895)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1782)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1829)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2005)
  at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2029)

我用谷歌搜索了一段时间，找不到任何有用的帮助。然后我尝试在我的计算机（X86-64 CentOS 6.5）中编译hadoop-2.5.0，因为错误以某种方式与本机lib相关，我得到了同样的错误。我也尝试了cdh版本，仍然没有用。

我的hdfs-site.xml：

<property>
  <name>fs.checkpoint.dir</name>
  <value>/home/seg3/namesecondary</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/seg2/datanodedir</value>
</property>
<property>
  <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
  <value>true</value>
</property> 
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>
<property>
  <name>dfs.block.local-path-access.user</name>
  <value>root</value>
</property>
<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
</property>
<property>
  <name>dfs.domain.socket.path</name>
  <value>/var/run/hadoop-hdfs/dn._PORT</value>                                                                                
</property>
<property>
  <name>dfs.client.file-block-storage-locations.timeout</name>
  <value>10000</value>
</property>

和core-site.xml：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://localhost:8020</value>
</property>
<property>
  <name>fs.trash.interval</name>
  <value>10080</value>
</property>
<property>
  <name>fs.trash.checkpoint.interval</name>
  <value>10080</value>
</property>   
<property>
  <name>io.native.lib.available</name>
  <value>false</value>
</property>

有什么想法吗？ BTW，hadoop 2.3.0在我的机器上完美运行。

Answer 1

尝试在一堆服务器上部署相同的软件包后，我发现了问题。某种程度上，hadoop 2.3.0的本机lib进入了jdk的本机路径，这反过来又压缩了java运行时。当datanode尝试加载本机lib时，它会找到旧的lib。删除那些.so文件后，我启动并运行了datanode。欢呼声。

Answer 2

Amos所说的完成需要定义：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

hadoop 2.5.0无法启动datanode

2 个答案: