当 Amazon S3 高度一致时,用于 hadoop-aws 的 S3Guard 是否仍然相关?

时间:2021-06-07 18:51:10

标签: hadoop amazon-s3

https://aws.amazon.com/s3/consistency/ 声称它是。但是,当我阅读文档 https://hadoop.apache.org/docs/current/hadoop-aws/tools/hadoop-aws/index.html 时,仍然建议使用 S3Guard。我相信我错过了一些东西。这是否意味着即使 Amazon 声称 S3 是强一致性的,在使用 hadoop-aws 时 S3 也不是强一致性?

1 个答案:

答案 0 :(得分:0)

很可能自从更改为 AWS S3 以来,文档尚未更新。我相信不再需要 S3 Guard,但正如 @oneCricketeer 所说,您仍然可以从它提供的缓存中受益。

此 Apache Jira 将更新文档以弃用 S3 Guard:

https://issues.apache.org/jira/browse/HADOOP-17480