我是hadoop的新手并且正在尝试学习Hadoop,我从不同的资源中找到了很多关于hadoop架构的参考和学习的东西。
我已经在我的机器中设置了单一群集设置,并按照“Hadoop_ The Definitive Guide,3rd Edition”这本书进行了设置。
第二章他们讲述了“国家气候数据中心”的一个例子。
但我想知道我应该在项目中包含哪个Jar文件以及如何开始编写我的第一个map-reduce作业程序..
先谢谢, Sombir
答案 0 :(得分:0)
在MR1
中,基本工作所需的罐子如下:
这两个jar都可以在Hadoop安装目录下找到,所以从那里挑选它们(以消除版本问题)。当您尝试更多功能时,将需要额外的罐子。例如,必须添加commons-cli-x.x.jar
才能使用GenericOptionParser
。
对Yarn
不太确定,但必须遵守以下规则:
我会尽快更新此列表。
现在写这份工作,我认为WordCount的例子(也就是MR的Hello World
)是最好的起点。如果您对此感到满意,请自行启动“国家气候数据中心”。如有任何帮助,我们可以提供指导。或者更好地将问题添加到这篇文章中以获得最初的想法。
答案 1 :(得分:0)
您可能需要执行以下两个步骤。