如何处理S3上的文件不一致？

Question

我正在将spark DF写到S3位置，在下一条代码指令中，我需要取回刚在s3上创建的相同文件。

我正在写入s3的文件大小约为100MB。当我尝试取回文件时，它会抛出文件未找到异常。

所以我认为文件已创建，但尚未完全上传。

如何处理s3上的此文件不一致？ 注意：我正在使用AWS胶水将Spark数据帧写入s3。

非常感谢。