如何重命名胶水作业输出文件名？

Question

我正在创建一个粘合作业，输出存储在s3存储桶中。 S3路径如下：

DF.write.format('csv').mode("overwrite").save("s3://test",header='true')

我想要输出的用户定义文件名，该文件名应附加系统日期。

例如：test20180101.csv

Answer 1

您可以尝试以下操作：

   deleteJob (ID) {
    axios.delete('http://localhost:5000/api/jobs/'+ID)
      .then((res) => {...

Answer 2

你可以看到这个答案 - https://stackoverflow.com/a/65631582/11842006

不要使用代码中给出的分区。

对于系统日期，您可以使用 datetime -

from datetime import datetime
today = datetime.today() #will given the current date. 

在 copy_object 的 Key 中追加今天。