如何禁用火花空文件$ folder $的创建?

时间:2020-06-19 07:57:18

标签: apache-spark amazon-s3 pyspark amazon-emr

在AWS EMR中运行spark集群时,我保存了一些Parque文件。

在保存文件时,spark会创建一些包含单词$folder$的空文件,如下所示:

enter image description here

这些文件保存在S3中。

是否存在任何配置以避免创建这些文件?

0 个答案:

没有答案
相关问题