MapReduce程序性能测试

Question

我们如何在mapreduce程序中检查哪个地图运行缓慢？在工作期间和完成工作后？

需要检查MapReduce性能测试的参数是什么。

Answer 1

这个问题非常广泛，但仍在努力解决..

1）当Job正在运行时，您可以在应用程序主文件中看到

2）完成工作后，您可以在工作历史中看到

请参阅map-reduce的工作跟踪器和任务跟踪器文档。

性能测试的参数是非常广泛的术语。有一些默认的测试用例将附带分发

一般情况下，我们会看到工作时间（包括地图和减少阶段）花了多少时间以及每张地图使用上述跟踪器花费的时间。

除此之外，您还可以查看每个映射器的记录数（inputsplit）。以及

下面的示例屏幕截图中的各种其他参数 监督工作后，我们可以得出结论，你可以对此进行微调。请参阅tips

中的一些内容