对Hadoop Map-Reduce应用程序进行基准测试

Question

我需要按作业执行时间比较两个Hadoop调度算法。 我可以用什么来获得所有任务的执行持续时间？

Answer 1

您可以从地址中查看有关任务和作业的详细信息：

http://hostnameofmachinerunningtheJobTracker:50030/jobtracker.jsp

您可以从link

获取其他信息

Answer 2

JobTracker Web UI为您提供了非常有用的报告，可以比较每个映射器和缩减器的可用日志。

另请查看mrbench档案中的hadoop-test.jar班级。网上有大量有关其用于Hadoop集群基准测试的信息，如this article。