Spark 2.4.0将空数据帧写入镶木地板AWS s3

Question

Spark 2.4.0 EMR作业之后将空DF写入AWS S3：

df
  .repartition(1)
  .write
  .mode(SaveMode.Append)
  .partitionBy(/* some_partitions */ )
  .parquet(target)

目标S3位置没有输出。但是，这不是我根据this resolved issue所期望的。没有例外，但目标文件夹中没有元数据，也没有 _success 文件。

谢谢！

Answer 1

如何写入核心节点的hdfs？ 您看到其中写入了文件吗？