Hadoop - 如何执行工作 - 需要一步一步的解释

时间:2013-12-11 10:00:40

标签: hadoop

我正在学习hadoop。我试图想象一下我提交工作后会发生什么。我的意思是,有人可以逐步解释执行命令时发生的事情

hadoop jar example.jar WordCount test.txt output

此Java程序如何提交给JobTracker。 namenode,datanode如何进入图片等。

由于 Aniruddha

1 个答案:

答案 0 :(得分:0)

在最高级别,有四个独立实体:

客户端,提交MapReduce作业。

jobtracker ,协调作业运行。 jobtracker 是一个Java应用程序,其主要类是 JobTracker

tasktrackers ,用于运行作业已拆分的任务。 Tasktrackers 是主要类为 TaskTracker 的Java应用程序。

分布式文件系统,用于在其他实体之间共享作业文件。

请浏览以下链接

http://answers.oreilly.com/topic/459-anatomy-of-a-mapreduce-job-run-with-hadoop/