标签： apache-spark amazon-s3 apache-spark-sql parquet
我正在从sql server中读取表数据并将其作为Dataframe存储在spark中，我想将df写回s3中的拼花文件，因为该表大约有30列和2.04亿行，现在带有spark.write是否需要最快的方法来完成以木地板文件形式写回s3约25-30分钟的操作？
编辑1 如果您还有其他更好的方法而不是直接使用spark.write