我试图从我在AWS-Glue中创建的数据帧生成文件,我试图给它指定一个特定的名称,我看到有关堆栈溢出的大多数答案实际上使用的是Filesystem模块,但是这里是这个特定的csv文件是在S3中生成的,我也想在生成文件时给它起一个名字,而不是在生成后重命名它,有什么办法吗?
我尝试使用df.save(s3 :: //PATH/filename.csv)实际在S3中生成一个名为filename.csv的新目录,然后在该目录中生成part-*。csv
df.repartition(1).write.mode('append').format('csv').save('s3://PATH').option("header", "true")