分析MapReduce作业

Question

我正在使用oozie工作流在CDH5上的分布式群集上启动多个mapreduce作业。

想知道是否有人可以推荐任何个人资料。我在看HPROF和jumbune。有什么想法吗？

Answer 1

一种可能性是使用内置计数器来计算关键部分的时间：

long start = Time.now();
codeToTime();
long timeElapsed = Time.now() - start;
reporter.incrCounter("performance", "codeWeTimed", timeElapsed);