我怀疑在哪里运行带有单独NameNode和JobTracker的12节点集群。我可以从JobTracker执行MapReduce作业,但我想从我的10个DataNode中的任何一个向JobTracker提交作业。是否有可能如果是的话怎么做?
答案 0 :(得分:2)
是的,只要hadoop在路径上(在每个节点上),并且群集的配置已正确分发到每个数据节点。
事实上,您不一定需要正确分配配置,您只需要相应地配置jobtracker和hdfs url(查看-jt
和-fs
选项的GenericOptionsParser选项)。
有关通用选项的更多信息,请参阅此页面:http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#Generic+Options