更改Spark的Hadoop版本

Question

如何在不提交jar和定义特定Hadoop二进制文件的情况下为Spark应用程序设置Hadoop版本？甚至有可能吗？ 我只是不太确定提交Spark应用程序时如何更改Hadoop版本。

类似的事情不起作用：

  val sparkSession = SparkSession
    .builder
    .master("local[*]")
    .appName("SparkJobHDFSApp")
    .getOrCreate()
  sparkSession.sparkContext.hadoopConfiguration.set("hadoop.common.configuration.version", "2.7.4")

Answer 1

不可能。 Spark Master和Workers在类路径上各自具有自己的Hadoop JAR，您自己的应用程序必须与之兼容