我在qubole上运行apache spark 1.6.3中的代码，它在s3上将数据写入多个表（镶木地板格式）。在写入表格时，我一直收到java.io.FileNotFound exception。
我甚至设置：spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter.
但这似乎并没有解决我的问题。另外，在检查日志时，我发现异常是由_temporary location being missing引起的。即使在使用DirectParquetOutputCommitter之后，我也不明白为什么_temporary位置。这个例外不断发生。
如果有人知道要解决这个问题，请告诉我。感谢。
答案 0 :(得分：1)
S3不是一致的文件系统;它是一个最终一致的对象存储库，其列表操作往往会暂时滞后于已创建的文件。
任何假定书面数据都是可观察的代码＆＃34;那里＆＃34;当你看起来可以打破这个世界。遗憾