任何人都有过这种错误的经历吗？使用s3a协议运行spark 2.0.1作业时，我看到了这个错误。
我也看到saveAsTextFile到s3的零星失败。我认为它至少有时会恢复。
尝试查找方向，如果是pyspark实现，或s3a属性，限制，超时或其他内容。
谢谢你！答案 0 :(得分：0)
问题是在运行火花作业近一年之后，我们在相同的S3路径下累积了大量文件。 S3表现是个问题。我所做的只是更改顶级＆＃34; subdir＆＃34;因此，新创建的文件上的路径不同，性能也得到了显着提升。
答案 1 :(得分：0)
很高兴听到这个问题。
如果再次看到它，是否可以在问题apache org，项目HADOOP，组件fs / s3上将堆栈跟踪添加到JIRA？这可能会告诉我们在失败的操作中我们可以在哪里做更多的重试逻辑。