我有一个奇怪的环境问题。我有两个conda环境base
和rnn
。当我在pyspark --master yarn
环境中输入base
时,交互式shell出现成功,我可以使用YARN Web UI查看PySpark shell已提交给YARN。
但是,当我输入source activate rnn
后跟pyspark --master yarn
时,我会看到抛出以下异常。
线程“main”中的异常java.lang.Exception:运行时 必须设置主'纱线'HADOOP_CONF_DIR或YARN_CONF_DIR 环境。 在org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:286) 在org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:246) 在org.apache.spark.deploy.SparkSubmitArguments。(SparkSubmitArguments.scala:119) 在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:129) 在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
如果切换回base
conda环境,并输入printenv
,我也看不到HADOOP_CONF_DIR或YARN_CONF_DIR。我很困惑这些环境变量的设置位置和方式,以及为什么从一个conda环境切换到另一个conda环境会导致上面的异常。有关如何解决此问题的任何想法?