如何在Hadoop中测量每个阶段的持续时间（map，shuffle / sort，reduce）？

Question

Hadoop执行map，shuffle / sort和reduce phase。 我想知道每个阶段的持续时间。 我的意思是，他们需要多长时间？

我搜索过很多文件但我找不到任何明确的解决方案。例如，我设置配置文件并启用探查器以使用Hadoop探查器。但是不生成结果文件“java.hprof.txt”。此外，我不确定结果文件是否包含我想要的信息。

你能帮助我吗？

Answer 1

跟踪工作进度的一种方法是查看Hadoop提供的Web UI。默认情况下，它位于http://server-adress:50030/jobtracker.jsp。

在那里，您可以找到有关任务运行时，任务进度，查看日志和许多其他用户工具的信息。

Answer 2

您可以在jobtracker的作业历史记录日志中找到所有这些信息，可在其Web UI中找到。它与您在作业运行时看到的UI不同。在那里，您将分别找到每个阶段的时间。