如何从AWS Glue DF使用指定名称将csv文件保存到AWS S3?

时间:2019-05-21 09:19:50

标签: amazon-s3 pyspark aws-glue

我试图从我在AWS-Glue中创建的数据帧生成文件,我试图给它指定一个特定的名称,我看到有关堆栈溢出的大多数答案实际上使用的是Filesystem模块,但是这里是这个特定的csv文件是在S3中生成的,我也想在生成文件时给它起一个名字,而不是在生成后重命名它,有什么办法吗?

我尝试使用df.save(s3 :: //PATH/filename.csv)实际在S3中生成一个名为filename.csv的新目录,然后在该目录中生成part-*。csv

df.repartition(1).write.mode('append').format('csv').save('s3://PATH').option("header", "true")

0 个答案:

没有答案