Question

我想测试一下Hadoop＆amp; Amazon EC2中的HBase，但我不确定它有多复杂。是否有一个稳定的社区AMI，有Hadoop＆amp; HBase安装？我在想bioconductor AMI

之类的东西

谢谢。

Answer 1

我强烈建议您使用Amazon's Elastic MapReduce服务，特别是如果您已拥有AWS / EC2帐户。原因是：

EMR带有一个“开箱即用”的工作Hadoop / HBase集群 - 您无需调整任何内容以使Hadoop / HBase正常工作。 It Just Works（TM）。
Amazon EC2的网络与您可能习惯的网络截然不同。它具有AFAIK，1对1 NAT，其中节点看到自己的私有IP地址，但它通过公共IP连接到外部世界。当您手动构建群集时，这会导致问题 - 甚至使用Apache Whirr或BigTop等专用于EC2的软件。
单独使用AMI不太可能帮助您启动并运行Hadoop或HBase群集 - 如果您想运行Hadoop / HBase群集，则可能需要花时间调整网络设置等。

Answer 2

据我所知，没有，但您应该能够使用Apache Whirr轻松部署EC2，这是一个非常好的选择。

以下是a good tutorial与Whirr一起执行此操作，因为教程说您应该能在几分钟内完成此操作！

关键是创建这样的食谱：

whirr.cluster-name=hbase
whirr.instance-templates=1 zk+nn+jt+hbase-master,5 dn+tt+hbase-regionserver
whirr.provider=ec2
whirr.identity=${env:AWS_ACCESS_KEY_ID}
whirr.credential=${env:AWS_SECRET_ACCESS_KEY}
whirr.hardware-id=c1.xlarge
whirr.image-id=us-east-1/ami-da0cf8b3
whirr.location-id=us-east-1

然后，您可以使用以下命令启动群集：

bin/whirr launch-cluster --config hbase-ec2.properties

是否有针对Hadoop / HBase的亚马逊社区AMI？

2 个答案: