标签： apache-spark apache-spark-sql amazon-redshift hadoop2
向Redshift传输数据或从Redshift传输数据时，该库将数据读写到S3。我可以在一些帖子中看到，您可以使用某些hadoop配置来优化Spark会话以使其与S3配合使用：
spark.sparkContext.hadoopConfiguration.set("fs.s3a.fast.upload", "true").
对此有任何建议或评论吗？