Hadoop:jobclient在哪里工作?

时间:2013-04-10 04:33:49

标签: hadoop mapreduce

jobclient在哪里工作?两种情况:

  1. 将job.jar复制到hdfs,并使用“hadoop jar job.jar”运行作业,我认为jobclient在执行命令的计算机上运行,​​是不是?我们可以使用此命令在配置了jobtracker和hdfs端口的群集中的计算机上运行作业吗?

  2. 当我在计算机上使用eclipse进行远程编程时,使用菜单“Run on hadoop”运行作业,jobclient是否在不属于群集的计算机上运行?或其他地方...

1 个答案:

答案 0 :(得分:1)

在驱动程序类中调用JobClient以开始执行MR作业和其他一些事情。 JobClient和Driver在同一节点上执行。有关JobClient here的更多详细信息。

JobClient运行的位置取决于驱动程序的运行位置。驱动程序可以从Hadoop集群的外部或内部运行。驱动程序也可以从Hadoop集群网关运行。