在Glue JOB中命名Parquet文件

Question

如何为AWS胶水作业中的镶木地板文件指定预定义名称？

例如，在我的作业运行后，镶木地板文件存储在特定文件夹中，名称如下：

part-00000-fc95461f-00da-437a-9396-93c7ea473720.sn appy.parquet， part-00000-tc95431f-00ds-437b-9396-93c7ea473720.sn appy.parquet

我希望文件以预定义或结构化格式存储，如：

part-00000-12Jan2018.sn appy.parquet， part-00000-13Jan2018.sn appy.parquet

等。

Answer 1

由于 spark 工作方式的性质，我们目前无法根据自己的喜好命名文件。 另一种方法是在将文件写入 s3/数据湖后立即重命名文件。 我发现 these 个答案很有帮助。