如何为Hadoop编写第一个Mapreduce Job程序?

时间:2014-11-11 17:18:16

标签: hadoop mapreduce

我是hadoop的新手并且正在尝试学习Hadoop,我从不同的资源中找到了很多关于hadoop架构的参考和学习的东西。

我已经在我的机器中设置了单一群集设置,并按照“Hadoop_ The Definitive Guide,3rd Edition”这本书进行了设置。

第二章他们讲述了“国家气候数据中心”的一个例子。

但我想知道我应该在项目中包含哪个Jar文件以及如何开始编写我的第一个map-reduce作业程序..

先谢谢, Sombir

2 个答案:

答案 0 :(得分:0)

MR1中,基本工作所需的罐子如下:

  • hadoop-core-x.x.x.jar
  • 共享记录-API x.x.x.jar
    它不是直接的依赖,但是缺少导致运行jar的问题

这两个jar都可以在Hadoop安装目录下找到,所以从那里挑选它们(以消除版本问题)。当您尝试更多功能时,将需要额外的罐子。例如,必须添加commons-cli-x.x.jar才能使用GenericOptionParser

Yarn不太确定,但必须遵守以下规则:

  • Hadoop的common.jar
  • hadoop-auth.jar

我会尽快更新此列表。

现在写这份工作,我认为WordCount的例子(也就是MR的Hello World)是最好的起点。如果您对此感到满意,请自行启动“国家气候数据中心”。如有任何帮助,我们可以提供指导。或者更好地将问题添加到这篇文章中以获得最初的想法。

答案 1 :(得分:0)

您可能需要执行以下两个步骤。

  1. 安装/设置hadoop click here了解详情
  2. 在hadoop中运行示例字数示例。 click here了解详情。