从工作者访问SparkConf

Question

有没有办法从工人那里获得火花配置（即在地图功能的封闭内）。我尝试使用

SparkEnv.get().conf()

但它似乎不包含我在创建SparkContext之前设置的所有自定义spark配置

编辑：

通过SparkEnv我能够通过spark-defaults.config获得默认配置，但我通过setter方法明确设置的所有confs

SparkConf conf = new SparkConf()
conf.set("my.configuration.key", "myConfigValue")
SparkContext sc = new SparkContext(conf)

我通过SparkConf

的SparkEnv.get().conf()对象中没有

Answer 1

SparkEnv是开发人员API的一部分，是not intended for external use。

你可以简单地创建一个广播变量。

val confBd = sc.broadcast(sc.getConf.getAll.toMap)
rdd.foreachPartition(_ => println(confBd.value.get("spark.driver.host")))