使用AWS胶水将CSV转换为拼花地板时，为什么会创建多个文件？

Question

我正在将一个csv文件转换为镶木地板并将其存储到s3位置，但是当我检查位置时，我得到的是多个文件而不是一个文件？

Answer 1

默认情况下，Spark / Glue并行写入数据以优化写入。您可以在写入之前使用coalesce()方法强制写入一个文件。