如何将MapReduce作业从DataNode提交到JobTracker?

时间:2013-03-19 04:45:04

标签: hadoop

我怀疑在哪里运行带有单独NameNode和JobTracker的12节点集群。我可以从JobTracker执行MapReduce作业,但我想从我的10个DataNode中的任何一个向JobTracker提交作业。是否有可能如果是的话怎么做?

1 个答案:

答案 0 :(得分:2)

是的,只要hadoop在路径上(在每个节点上),并且群集的配置已正确分发到每个数据节点。

事实上,您不一定需要正确分配配置,您只需要相应地配置jobtracker和hdfs url(查看-jt-fs选项的GenericOptionsParser选项)。

有关通用选项的更多信息,请参阅此页面:http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#Generic+Options