使用scala将镶木地板数据写入S3上的文件

Question

有没有办法使用scala快速稳定地在S3上编写拼花数据？

Answer 1

是的 - 使用Spark 掌握了数据框后，您可以使用df.write.parquet("s3a://newfilename")

Answer 2

如果您愿意，可以从独立安装中长期使用s3a，但我建议不要因为性能问题而将其用作工作的直接目的地。最好在本地输出然后将其复制到那里（hadoop distcp这样做）。