如果它不存在，Spark会创建一个s3文件夹路径吗？

Question

让我说我有这一行，我想知道Spark是否自动创建文件夹路径并像在本地一样写入文件夹。

是的，s3不是文件夹系统而是关键的val系统。

val path="s3a://dev-us-east-1/"

val op = df_formatted.coalesce(1).write.mode("overwrite").format("csv").save(path + "report/output")

这是否会写入＆＃34; s3a：// dev-us-east-1 / report / output＆＃34;

Answer 1

当然，您已正确设置＆＃34;安全性内容＆＃34;，即您拥有具有写访问权限的IAM用户的凭据，然后是Spark将创建文件夹和文件。