哪个Map-Reduce库和/或平台与java一起使用

时间:2010-02-05 13:38:50

标签: java amazon-ec2 cloud mapreduce

我最近正在阅读和听到关于云计算 map-reduce 技术的一些内容。我正在考虑使用一些算法来获得该领域的实践经验,看看现在有什么可能。

以下是我想要做的事情: 我想使用内置地图缩减功能附带的一些公共云平台(例如Google App Engine,Google Map Reduce,Amazon ECS,Amazon Map Reduce),或者如果没有内置支持,请使用额外的地图reduce java libary (例如Hadoop,Hive),并实现/部署一些算法。

有没有人在该领域取得过一些经验并指出一个好的开始点?或者说出一些在实践中运作良好的组合?

提前致谢!

2 个答案:

答案 0 :(得分:2)

Amazon EC2有一些预先捆绑的Hadoop AMI。有关教程,请参阅Running Hadoop on Amazon EC2

特别考虑到Cloudera分布 - 它还有Pig和Hive。

答案 1 :(得分:1)

Apache Hadoop是一个主要的开源Java分布式计算框架,它包含一个基于原始Google MapReduce的MapReduce子项目。