在使用构建器模式创建Spark会话时,我们通常使用("spark.some.config.option", "config-value")
设置config。我们究竟是什么意思,它的意义是什么?
例如:
val spark=SparkSession.builder().appName("SPARK SQL EXAMPLE")
.config("spark.some.config.option", "some-value").getOrCreate
答案 0 :(得分:1)
这是控制在创建或使用SparkSession
时使用的Spark配置的方法之一。 Spark有很长的可用配置列表,每个配置都控制着可以使用不同的配置值修改的特定行为。
以下是所有可用配置及其含义的词汇表:https://spark.apache.org/docs/latest/configuration.html#available-properties
例如,使用.config("spark.shuffle.compress", "false")
会告诉Spark不要压缩随机播放的文件(不一定是个好主意,仅举一个例子)。
答案 1 :(得分:0)
Spark
像其他所有框架一样,以Configurations
的形式提供了大量可定制的旋钮和杠杆。可以通过多种方式设置它们,包括
spark-defaults.conf
文件spark-submit
选项SparkConf
对象在创建SparkSession
和Spark
API时,您可以传递运行时配置,该配置可以通过
SparkConf
对象.config("key", value)
通话