Hadoop：作业在地图任务之前首先执行的位置是什么？

Question

这是Hadoop Job的典型main方法：

public class MyHadoopJobDriver extends Configured implements Tool {

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyHadoopJobDriver(), args);
    System.exit(exitCode);
  }
  ...

}

当我运行此作业hadoop MyHadoopJobDriver时，上面的代码是否在任务跟踪器上的自己的JVM中执行？然后，一旦调度作业，映射任务就会分配给任务跟踪器？

Answer 1

是的，通常。请注意，如果您在Eclipse中“调试 - >作为Java应用程序”该类，那么您可以使用调试器进行测试，设置断点等。注意请注意，即使您在Eclipse中运行驱动程序类和mapper / reducer，仍然需要在你的机器上运行hadoop以支持HDFS。