提前道歉，因为我是新手。我已经在4个工作站的独立模式下创建了一个spark集群，在成功配置了worker属性之后，我想知道如何配置主属性。
我正在编写一个应用程序并使用SparkSession.builder将其连接到集群（我不想使用spark-submit提交它。）
我知道可以在conf/spark-env.sh文件中配置工作人员，并且可以设置参数，例如'SPARK_WORKER_MEMORY'和'SPARK_WORKER_CORES'
我的问题是：如何配置主设备的属性？因为此文件中没有“SPARK_MASTER_CORES”或“SPARK_MASTER_MEMORY”。
我考虑过在spark-defaults.conf文件中设置它，但似乎这只用于spark-submit。
我考虑过使用SparkConf().set("spark.driver.cores", "XX")在应用程序中设置它，但是这仅指定了此应用程序要使用的核心数。
非常感谢任何帮助。
感谢。
答案 0 :(得分：1)
设置Spark Master节点（Driver）和spark worker节点配置的三种方法。我将展示设置主节点内存的示例。其他设置可以找到here
1-以编程方式通过SpackConf类。
示例：
new SparkConf().set("spark.driver.memory","8g")
2-使用Spark-Submit：确保不要在代码中设置相同的配置（以编程方式为1）并在执行spark提交时。如果您已经以编程方式配置了设置，那么spark-submit中提到的与（1）重叠的每个作业配置都将被忽略。
示例：
spark-submit --driver-memory 8g
3-通过Spark-defaults.conf： 如果没有设置上述设置，则此设置将是默认设置。
示例：
spark.driver.memory 8g