在创建Spark会话时传递设置元组“ spark.some.config.option”，“ config-value”表示什么意思？

Question

在使用构建器模式创建Spark会话时，我们通常使用("spark.some.config.option", "config-value")设置config。我们究竟是什么意思，它的意义是什么？

例如：

val spark=SparkSession.builder().appName("SPARK SQL EXAMPLE")
     .config("spark.some.config.option", "some-value").getOrCreate

Answer 1

这是控制在创建或使用SparkSession时使用的Spark配置的方法之一。 Spark有很长的可用配置列表，每个配置都控制着可以使用不同的配置值修改的特定行为。

以下是所有可用配置及其含义的词汇表：https://spark.apache.org/docs/latest/configuration.html#available-properties

例如，使用.config("spark.shuffle.compress", "false")会告诉Spark不要压缩随机播放的文件（不一定是个好主意，仅举一个例子）。

Answer 2

Spark像其他所有框架一样，以Configurations的形式提供了大量可定制的旋钮和杠杆。可以通过多种方式设置它们，包括

• spark-defaults.conf文件
• spark-submit选项
• SparkConf对象

---

在创建SparkSession和Spark API时，您可以传递运行时配置，该配置可以通过

实现

• SparkConf对象
• 使用.config("key", value)通话