是否有任何EMRFS SDK可以从EC2机器上访问S3?

时间:2015-12-03 09:28:56

标签: amazon-s3 amazon-ec2 emr

我已阅读this,并得出结论:EMRFS仅在我使用AWS EMR计算机时才可用。

我问这个是因为我对EMRFS的{​​{1}}的写后一致性感兴趣。

3 个答案:

答案 0 :(得分:2)

我只是想对这个问题提出新的意见:正在进行的社区工作在Hadoop中提供了一致的S3模型:S3Guard: Improved Consistency for S3A

如上所述:

  

本期提出S3Guard是S3A的一项新功能,它提供了一种比目前提供的更强一致性模型的选项。该解决方案与强大一致的外部存储协调,以解决由S3最终一致性模型引起的不一致问题。

有关详细信息,请参阅design doc

这将是下一版本中Hadoop发布的一部分,可能是Hadoop 3.0。

更新:史蒂夫只是向Hadoop 2.9推送它。

答案 1 :(得分:0)

需要更多的手动配置,但您可以通过使用现有的开源NativeS3FileSystem和Netflix's s3mper来获得与EMRFS + EMR的一致视图类似的设置,它使用与EMRFS相同的DynamoDB支持的配置

答案 2 :(得分:0)

如果您正在寻找只读读后一致性,那么您可以按原样使用S3(所有区域都支持在写一致性后读取)与EMR。捕获的是US-Standard存储桶,只需在EMR中设置fs.s3n.endpoint = s3-external-1.amazonaws.com,并在所有非EMR应用程序上使用相同的端点。