亚马逊（EMR）使用哪个Hadoop版本？

Question

我想创建一个Hadoop作业并在EC2 Map Reduce上运行它。 此外，我想在上传到EC2之前在本地运行该作业。

我应该在本地使用哪种版本/类型的Hadoop？我可以使用Cloudera VM吗？ 亚马逊使用哪种Hadoop版本？

Answer 1

Amazon Elastic MapReduce支持Hadoop 0.18,0.20和0.20.205（http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EnvironmentConfig_AMIVersion.html#ami-versions-supported）。

您可以指定要运行的那个。你不能选择Cloudera;你可以在EC2上运行原始实例并设置你自己的Cloudera集群。

本地运行与EMR无关;只需在伪分布式模式下设置Hadoop集群进行测试。

Answer 2

最近亚马逊还增加了对MapR M3和M5的支持：

http://aws.amazon.com/elasticmapreduce/mapr/

您可以通过以下链接下载MapR二进制文件：

http://www.mapr.com/products/download/download-mapr-on-premise

无耻插件：在Axemblr.com，我们正在基于多云的Cloudera Manager目标构建Amazon EMR的替代方案。如果您想要早期加入，请发送电子邮件至hello@axemblr.com。

Answer 3

Amazon EMR现在使用Hadoop 2.4.0。更新的信息： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html