在使用master＆＃39; yarn＆＃39;必须在环境

Question

我正在尝试使用纱线运行Spark，我遇到了这个错误：

线程中的异常＆＃34; main＆＃34; java.lang.Exception：当使用master＆＃39; yarn＆＃39;必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。

我不确定＆＃34;环境＆＃34;是（具体文件是什么？）。我尝试使用：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在bash_profile中，但这似乎没有帮助。

谢谢！

Answer 1

使用Yarn运行spark时，您需要在spark-env.sh

中添加以下行

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：在您的环境中检查$ HADOOP_HOME / etc / hadoop是否正确。而spark-env.sh也包含HADOOP_HOME的导出。

Answer 2

仅仅是Shubhangi的回答，

 cd $SPARK_HOME/bin
 sudo nano load-spark-env.sh

添加以下行，保存并退出

导出SPARK_LOCAL_IP =“ 127.0.0.1”

export HADOOP_CONF_DIR =“ $ HADOOP_HOME / etc / hadoop”

导出YARN_CONF_DIR =“ $ HADOOP_HOME / etc / hadoop”