Spark数据框编写器类

时间:2019-01-23 22:55:50

标签: scala apache-spark amazon-s3 apache-spark-sql

一位同事提到,spark dataframeWriter类将写入s3中的一个临时位置,然后在完成后复制到所需的s3位置。我想更多地了解此行为,但是无法找到描述此行为的源代码。我一直在这里看:

https://github.com/apache/spark/blob/c0632cec04e5b0f3fb3c3f27c21a2d3f3fbb4f7e/sql/core/src/main/scala/org/apache/spark/sql/DataFrameWriter.scala

写s3时,火花执行什么是本文中描述的行为?

如果该行为是应发生的,则指向此代码路径存在的位置的链接以及对此行为默认设置的原因(并最终用户混淆)的描述将有助于理解。

0 个答案:

没有答案