为什么切换conda环境会消除HADOOP_CONF_DIR?

时间:2018-05-07 21:31:18

标签: apache-spark hadoop pyspark anaconda yarn

我有一个奇怪的环境问题。我有两个conda环境basernn。当我在pyspark --master yarn环境中输入base时,交互式shell出现成功,我可以使用YARN Web UI查看PySpark shell已提交给YARN。

但是,当我输入source activate rnn后跟pyspark --master yarn时,我会看到抛出以下异常。

  

线程“main”中的异常java.lang.Exception:运行时   必须设置主'纱线'HADOOP_CONF_DIR或YARN_CONF_DIR   环境。           在org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:286)           在org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:246)           在org.apache.spark.deploy.SparkSubmitArguments。(SparkSubmitArguments.scala:119)           在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:129)           在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

如果切换回base conda环境,并输入printenv,我也看不到HADOOP_CONF_DIR或YARN_CONF_DIR。我很困惑这些环境变量的设置位置和方式,以及为什么从一个conda环境切换到另一个conda环境会导致上面的异常。有关如何解决此问题的任何想法?

0 个答案:

没有答案