使用外部配置文件启动SparkR会话

Question

我有一个连接到Spark Cluster的RStudio驱动程序实例。我想知道是否有任何方法可以使用外部配置文件从RStudio实际连接到Spark集群，该文件可以指定执行程序，内存和其他spark参数的数量。我知道我们可以使用以下命令

来完成

{{1}}

我特意寻找一种从外部文件中获取spark参数来启动sparkR会话的方法。

Answer 1

Spark使用标准化配置布局，spark-defaults.conf用于指定配置选项。该文件应位于以下目录之一：

• SPARK_HOME/conf
• SPARK_CONF_DIR

您所要做的就是配置SPARK_HOME或SPARK_CONF_DIR个环境变量并将配置放在那里。

每个Spark安装都附带了模板文件，您可以将其用作灵感。