Question

请参考下面的代码。

from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark import SparkConf

conf = SparkConf().setAll([('spark.executor.memory', '8g'), 
('spark.executor.cores', '3'),('spark.master','local[9]'), 
('spark.memory.fraction','.6'),('spark.test','0'),('a','b')])

spark=SparkSession.builder.config(conf=conf).appName("Test3").getOrCreate()
spark.sparkContext.getConf().getAll()

这将返回所有设置如下的参数

[('a', 'b'),
 ('spark.executor.id', 'driver'),
 ('spark.app.id', 'local-***'),
 ('spark.driver.port', '58096'),
 ('spark.test', '0'),
 ('spark.rdd.compress', 'True'),
 ('spark.serializer.objectStreamReset', '100'),
 ('spark.executor.memory', '8g'),
 ('spark.executor.cores', '3'),
 ('spark.submit.deployMode', 'client'),
 ('spark.driver.host', '<host-value>'),
 ('spark.memory.fraction', '.6'),
 ('spark.app.name', 'Test3'),
 ('spark.ui.showConsoleProgress', 'true'),
 ('spark.master', 'local[9]')]

注意到，它包括作为setAll的一部分包含的所有键/值对，包括诸如“ a”，“ b”和“ spark.test”，“ 0”之类的随机值。这些值也会显示在Spark UI上。

想检查是否

这是预期的行为吗？
如果这是预期的行为，那么让用户将随机键，值对设置为参数的背后的想法是什么？想想，这只会导致更多的混乱。

一如既往，任何方向都很好！

使用SparkConf（）设置SparkSession参数

0 个答案: