我已阅读this,并得出结论:EMRFS
仅在我使用AWS EMR
计算机时才可用。
我问这个是因为我对EMRFS
的{{1}}的写后一致性感兴趣。
答案 0 :(得分:2)
我只是想对这个问题提出新的意见:正在进行的社区工作在Hadoop中提供了一致的S3模型:S3Guard: Improved Consistency for S3A。
如上所述:
本期提出S3Guard是S3A的一项新功能,它提供了一种比目前提供的更强一致性模型的选项。该解决方案与强大一致的外部存储协调,以解决由S3最终一致性模型引起的不一致问题。
有关详细信息,请参阅design doc。
这将是下一版本中Hadoop发布的一部分,可能是Hadoop 3.0。
更新:史蒂夫只是向Hadoop 2.9推送它。
答案 1 :(得分:0)
需要更多的手动配置,但您可以通过使用现有的开源NativeS3FileSystem和Netflix's s3mper来获得与EMRFS + EMR的一致视图类似的设置,它使用与EMRFS相同的DynamoDB支持的配置
答案 2 :(得分:0)
如果您正在寻找只读读后一致性,那么您可以按原样使用S3(所有区域都支持在写一致性后读取)与EMR。捕获的是US-Standard存储桶,只需在EMR中设置fs.s3n.endpoint = s3-external-1.amazonaws.com,并在所有非EMR应用程序上使用相同的端点。