Question

我知道这是一个很受欢迎的主题之一。在我深入研究了我能找到的所有主题（大多数人都在谈论CLASSPATH）后，我无法解决我的问题。

我找到并尝试过的主题示例：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration

java.lang.NoClassDefFoundError with HBase Scan

我在Ubuntu 14.04上使用Hadoop 2.5.1和HBase 0.98.11

我设置了伪分布式模式并成功运行了hobase和hbase。在我想设置完全分布式模式后，作业因NoClassDefFound错误而失败。我尝试将“export HADOOP_CLASSPATH = /usr/local/hbase-0.98.11-hadoop2/bin/hbase classpath”添加到hadoop-env（也是yarn-env）中，仍然无效。

我发现的一个通知是，如果我发表评论

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

我可以成功运行这些工作。但似乎我在单个非多节点上运行它。

以下是一些配置：

mapred现场

<property>
  <name>mapred.job.tracker</name>
  <value>hadoop1:54311</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>`

HDFS现场

<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
 </property>
 <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/namenode</value>
 </property>
 <property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop_store/hdfs/datanode</value>
 </property>
 <property>
   <name>dfs.datanode.use.datanode.hostname</name>
   <value>false</value>
 </property>
 <property>
   <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
   <value>false</value>
 </property>
 <property>
   <name>dfs.permissions</name>
   <value>false</value>
 </property>

纱现场

     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
         <description>shuffle service that needs to be set for Map Reduce to run 
 </description>
     </property>

     <property>
         <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
     </property>

在yarn-env和hadoop-env中除了HADOOP_CLASSPATH之外都有默认值（即使我添加它也不会改变它们。）

这是错误跟踪：

2015-04-25 23：29：25,143 FATAL [main] org.apache.hadoop.mapred.YarnChild：运行child时出错：java.lang.NoClassDefFoundError：org / apache / hadoop / hbase / HBaseConfiguration at apriori2 $ FrequentItemsReduce.reduce（apriori2.java:550） at apriori2 $ FrequentItemsReduce.reduce（apriori2.java:532）在org.apache.hadoop.mapreduce.Reducer.run（Reducer.java:171）在org.apache.hadoop.mapred.Task $ NewCombinerRunner.combine（Task.java:1651） at org.apache.hadoop.mapred.MapTask $ MapOutputBuffer.sortAndSpill（MapTask.java:1611）在org.apache.hadoop.mapred.MapTask $ MapOutputBuffer.flush（MapTask.java:1462） at org.apache.hadoop.mapred.MapTask $ NewOutputCollector.close（MapTask.java:700）在org.apache.hadoop.mapred.MapTask.closeQuietly（MapTask.java:1990）在org.apache.hadoop.mapred.MapTask.runNewMapper（MapTask.java:774）在org.apache.hadoop.mapred.MapTask.run（MapTask.java:340）在org.apache.hadoop.mapred.YarnChild $ 2.run（YarnChild.java:168） at java.security.AccessController.doPrivileged（Native Method）在javax.security.auth.Subject.doAs（Subject.java:415）在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1614）在org.apache.hadoop.mapred.YarnChild.main（YarnChild.java:163）

非常感谢先生的每一次帮助。

Answer 1

使用Yarn，您需要设置＆＃34; yarn.application.classpath ＆＃34;具有MapReduce作业的类路径的属性。＆＃34;出口HADOOP_CLASSPATH＆＃34;不适用于Yarn。

NoClassDefFoundError HBase with YARN

1 个答案: