标签： amazon-s3 pyspark pyspark-sql
我正在将spark DF写到S3位置，在下一条代码指令中，我需要取回刚在s3上创建的相同文件。
我正在写入s3的文件大小约为100MB。当我尝试取回文件时，它会抛出文件未找到异常。
所以我认为文件已创建，但尚未完全上传。
如何处理s3上的此文件不一致？ 注意：我正在使用AWS胶水将Spark数据帧写入s3。
非常感谢。