MapReduce对亚马逊/帐户管理

时间:2013-10-30 21:05:52

标签: amazon-web-services mapreduce

我对AWS完全不熟悉。

我从亚马逊AWS获得8700美元的赠款。我们是87人,我想在我们中分享这个8700美元。 (每人最好40美元)。

1-请指导我如何为他们创建帐户并为每个帐户分配40美元?或者假设他们已经拥有AWS账户,我想为每个账户分配40美元。

2-我们将使用Amazon AWS熟悉map-reduce。我不知道我们应该使用什么服务(如EC2,Elastic ......)。我们更喜欢最简单的一个。我们首先要使用1台计算机并在大型数据集上运行map-reduce功能,然后查看该过程需要多长时间,并使用4和8系统再次测试它以查看差异。

3-我们应该使用什么语言来减少地图。是否可以使用JAVA或C ++?我们应该在哪里编写代码(在netBeans,Microsoft VS,...)?我在哪里可以找到一些示例代码?

4-我也不确定数据集。它应该在Oracle上吗? Microsoft SQL SERVER ...

非常感谢您的帮助。

我非常感谢你的帮助。

2 个答案:

答案 0 :(得分:1)

1 - 您需要了解AWS Identity and Access Manager http://aws.amazon.com/iam/。您可以创建关联同一结算帐户的用户。我不确定您是否可以为个人用户分配积分,但您可以控制访问权限。

2 - 您需要的服务是AWS Elastic MapReduce http://aws.amazon.com/elasticmapreduce/

3-您最熟悉哪种语言?

  问:Amazon Elastic MapReduce支持哪些编程语言?       您可以使用Java来实现Hadoop自定义jar。或者,您可以使用其他语言,包括Perl,Python,Ruby,C ++,PHP,   和R通过Hadoop流媒体。请参阅开发人员指南   有关使用Hadoop Streaming的说明。   http://aws.amazon.com/elasticmapreduce/faqs/#dev-8

4-我认为你的意思是数据库......我喜欢MySQL,因为它比MSSQL或Oracle便宜。你读过亚马逊RDS吗? http://aws.amazon.com/rds/

答案 1 :(得分:1)

  1. 对于金额分享,您可以查看IAM角色。请将自己设为管理员。

  2. 对于Mapreduce,EMR是您没有的最佳选择 关注复杂的时间同步和DNS问题。

  3. 是的,可以使用JAVA / C ++。对于示例代码,您可以参考s3 bucket s3n://elasticmapreduce/samples而且来自amazon的文档非常好http://docs.aws.amazon.com/ElasticMapReduce/。您可以在AWS实例上编写代码,也可以创建本地开发环境并在EMR实例上构建代码。
  4. 是数据集和数据库吗?