如何找到特定Spark配置属性的值？

Question

如何在我的Spark代码中找到Spark配置的值？

例如，我想找到spark.sql.shuffle.partitions的值，并在我的代码中引用它。

以下代码将返回所有值：-

serveralias

如何检索单个配置设置？

Answer 1

喜欢这个。

spark.conf.get("spark.sql.shuffle.partitions")
'200' # returns default value here