如何覆盖使用SparkContext.addFile添加的文件？

Question

我正在尝试使用sc.addFile将文件添加到所有工作节点。但是，我发现它无法覆盖同一个文件。有没有办法通过sc.addFile覆盖文件？

Answer 1

配置了spark.files.overwrite：

  

当目标文件存在且其内容与源文件的内容不匹配时，是否覆盖通过SparkContext.addFile（）添加的文件。

所以只需在配置中将其设置为true

spark.files.overwrite   true

或会话

spark = SparkSession.builder.conf("spark.files.overwrite", "true").getOrCreate()
sc  = spark.sparkContext

或SparkConf

conf = SparkConf().set("spark.files.overwrite", "true")
sc = SparkContext(conf=conf)