Question

我是新的apache-spark。我已经在spark独立模式下测试了一些应用程序。但是我想运行应用程序纱线模式。我在windows中运行apache-spark 2.1.0。这是我的代码

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

EXCEPTION：与master＆＃39; yarn＆＃39;必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

所以从搜索网站。我创建了一个文件夹名称Hadoop_CONF_DIR并将hive site.xml放在其中并指向环境变量，之后我运行spark-submit然后我有

连接拒绝例外 我想我无法正确配置纱线模式。有谁可以帮我解决这个问题？我需要单独安装Hadoop和yarn吗？我想在伪分布式模式下运行我的应用程序。请帮我在windows中配置纱线模式谢谢

Answer 1

您需要导出两个变量HADOOP_CONF_DIR和YARN_CONF_DIR，以使您的配置文件对纱线可见。如果你使用linux，请在.bashrc文件中使用以下代码。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在Windows中，您需要设置环境变量。

希望这有帮助！

Answer 2

如果您正在使用Yarn运行spark，则最好将其添加到spark-env.sh：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

例外：java.lang.Exception：当使用master＆＃39; yarn＆＃39;必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

2 个答案: