将火花数据帧写入 AWS s3 时出现问题

时间:2021-02-25 23:23:20

标签: apache-spark amazon-s3 pyspark apache-spark-sql

您好,我在将 spark 数据帧写入 S3 时遇到了困难。 这些是我拥有的图书馆 aws-java-sdk-1.7.4.jar hadoop-aws-2.7.3.jar

我执行以下操作

dataframe.write.csv('s3a://this/is/path/', header=True)

我看到的错误是 com.amazonaws.AmazonClientException: Unable to verify integrity of data upload. Client calculated content hash didn't match hash calculated by Amazon S3.

0 个答案:

没有答案