我如何使用Hadoop / Map-Reduce / etc?

时间:2013-12-20 01:27:02

标签: hadoop mapreduce

我有一个程序,我希望通过在许多计算机上拆分它来计算。这是我可以通过Hadoop或Map / Reduce实现的,如果是这样,我该如何开始使用它?使用那么多电脑会花钱吗?

1 个答案:

答案 0 :(得分:0)

您可以根据算法的性质拆分程序。您应该拆分输入数据,并在每个节点上将您的程序应用于该输入的子集。也就是说,您应该实现数据并行性。在每个节点中执行相同的程序,但输入较小。

我的建议,看看“Hadoop,权威指南”一书,前两章可以帮助你更好地理解。 如果您想尝试使用简单的MapReduce程序作为WordCount,您可以下载可以在虚拟机上安装的Hortonworks沙箱,并且您可以非常快速地安装单个节点hadoop。这是链接http://hortonworks.com/products/hortonworks-sandbox/