如何在Apache Spark中切换集群类型

Question

我试图将群集管理器从独立切换到＆＃39; YARN＆＃39;在Apache Spark中我已安装用于学习。

我读了以下thread to understand which cluster type should be chosen

但是，我想知道更改群集类型的步骤/语法。 例如：从独立到YARN或从YARN到独立。

Answer 1

在spark中有一个函数名称--master，它可以帮助您在纱线群集模式或独立模式下执行脚本。

在本地模式下运行应用程序或使用spark-submit命令

单独使用此应用程序

--master Local[*]

或

  --master spark://192.168.10.01:7077 \
  --deploy-mode cluster \

在YARN群集上运行

 --master yarn 
 --deploy-mode cluster 

如需了解更多信息，请访问此链接。 https://spark.apache.org/docs/latest/submitting-applications.html

Answer 2

如果您没有通过命令行运行，则可以直接在SparkConf对象上设置此主服务器。

sparkConf.setMaster(http://path/to/master/url:port) in cluster mode

或

sparkConf.setMaster(local[*]) in client/local mode