是否可以覆盖SPARK中的Hadoop配置？

Question

是否可以覆盖SPARK中的Hadoop配置，以便自动解析NameNode IP？目前，由于现有的Hadoop配置（我无法修改，因为它可能会影响我的常规HDFS），我收到UnknownHostException。

Answer 1

使用前缀spark.hadoop.传入的任何内容都将被视为Hadoop配置覆盖。

val conf = new SparkConf
conf.set("spark.hadoop.HADOOPCONFKEY", "VALUE")
val sc = new SparkContext(conf)

或者您传递到hadoopRDD conf的任何内容都充当hadoop配置值。