Question

我试图找出地图任务的进度。如果有人可以帮助我，那将是伟大的！谢谢!!

Answer 1

我们有两种方法可以监控Map和Reduce在工作中的进度。

第一个是网络界面。

http://pdhadoop1:50030其中pdhadoop1是您的namenode计算机。

另一方面是来自作业驱动程序，可以输出到控制台（或其他地方）提交作业后，我们输入while循环并检查job.isComplete()。在循环内部我们做

System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));

然后我们Thread.sleep(60000)并且循环继续，直到作业完成。

通过这两种方法，我可以观察地图的进度并减少作业的组成部分。

Web界面允许查看日志和其他有用信息。计数器，记录，字节...一个非常好的功能。

我希望有所帮助。：）

编辑：此Wiki页面http://wiki.apache.org/hadoop/WebApp_URLs列出了这些网址

可在http://localhost:50030发现职位追踪者可以在http://localhost:50060发现任务跟踪器可以在http://localhost:50070发现NameNode / Filesystem / log浏览器可以在http://localhost:50090

找到SecondaryNameNode

我认为 localhost依赖于您要查看的网址。我没有玩过所有这些，我一般只用50030和50070;我指向我的名字节点。

映射阶段的进度速率（LATE调度程序） - Hadoop

1 个答案: