如何查找当前map reduce任务正在运行或即将为给定作业运行的从属节点的IP？

Question

我想找出当前mapreduce作业正在运行或即将为给定作业运行的从属节点的IP。 有没有办法做到这一点？

先谢谢。

Answer 1

对于任何作业，您都可以通过Job Scheduler Web UI查看正在运行的任务列表 - 这将详细说明正在运行任务的节点。

至于任务即将运行的地方 - 这不是事先必须决定的。当插槽在节点上可用时，Job Scheduler（有一个根据您的需要表现不同的数字）标识将在该节点上运行的作业任务（基于许多标准，希望能够在可能的位置尊重数据位置）并指示该节点上的任务跟踪器运行特定任务。

以编程方式，查看JobClient类的javadoc，它应该能够获取有关正在运行的任务及其节点名称的信息（您可能需要进行DNS查找以获取我想象的实际IP）< / p>

Answer 2

Hadoop附带了几个Web界面，默认情况下（参见conf / hadoop-default.xml）可在以下位置使用：
http://localhost:50030/ – web UI for MapReduce job tracker(s）  http://localhost:50060/ – web UI for task tracker(s)  http://localhost:50070/ – web UI for HDFS name node(s)

感谢@Chris .. 以编程方式，查看JobClient类的javadoc，它应该能够获取有关正在运行的任务及其节点名称的信息。