Question

我正在尝试用纱线设置hadoop。

默认的yarn.application.classpath属性设置如下。 yarn.application.classpath

<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*,
</value>

使用此配置，所有MR作业都会失败。如果我用它替换它（HADOOP_YARN_HOME替换它的值）一切正常。

<name>yarn.application.classpath</name>
<value>
   $HADOOP_CONF_DIR,
   $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
   $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
   $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
   /usr/lib/hadoop-yarn/*,/usr/lib/hadoop-yarn/lib/*,
</value>

所以，我怀疑resourcemanager的$ HADOOP_YARN_HOME值设置不正确。我已尝试在yarn-env.sh，hadoop-env.sh和/ etc / default / hadoop-yarn中设置它，但作业仍然失败。

我的问题是，我在哪里设置$ HADOOP_YARN_HOME变量？

Pd积。我正在使用CDH5。

Answer 1

您可以在属于该特定用户的 .bashrc 文件中设置配置变量。希望有所帮助。

Hadoop：如何正确设置HADOOP_YARN_HOME

1 个答案: