Hadoop：测量每个阶段的持续时间（map，shuffle / sort，reduce）

Question

我想知道一个非常相似的问题。 How can I measure the duration of each phase(map, shuffle/sort, reduce) in Hadoop? 答案说，task / web的web / ui显示了应用程序的每个持续时间。但我的环境是hadoop-2.2.0并且没有任务跟踪器。所以tasktracker web / ui “localhost：50030 / tasktracker.jsp”无效。答案仅适用于较低版本的hadoop（1.x.x），我猜。

如何在hadoop-2.x.x版本中测量每个阶段的持续时间（map，shuffle / sort，reduce）？是否还有其他网络/用于检查它们？

我的环境：Red hat 6.3，hadoop-2.2.0。

Answer 1

可以通过jobhistory网址http://localhost:19888/jobhistory查看此信息。点击“已退休的工作”列表中的“工作ID”，它会显示工作的平均地图，缩小，随机播放和合并时间。如果单击地图或减少任务，则可以查看有关每个任务的开始和结束时间的详细信息。