Spark中的Hadoop配置

Question

我需要在 Spark 作业中掌握当前的Hadoop org.apache.hadoop.conf.Configuration，以便进行调试。具体来说，我需要org.apache.hadoop.fs.FileSystem获取org.apache.hadoop.fs.Path#getFileSystem(conf: Configuration)方法

的路径

鉴于org.apache.spark.SparkContext，有没有办法获得Configuration？

Answer 1

您可以按照以下代码设置配置

sc.hadoopConfiguration.set("my.mapreduce.setting","someValue")