Reducer在Hadoop中的性能

时间:2018-08-26 13:35:51

标签: java api yarn hadoop2

是否有一种简便的方法(API方式)来衡量Apache Hadoop(如果重要的是2.6.5版)中的reducer(减少任务)性能。

  1. 要测量reduce任务的完成时间(从开始任务到完成)?不能测量JAVA前后的时间?
  2. 查找缩减任务在运行之前或之后已在何处激活?无需再次使用reducer类中的任何Java代码。

此外,是否有任何(简便)方法可将更多变量插入“内部函数”?我们有时会覆盖它,例如Partitioner类中的getPartition(或使用我可以使用API​​轻松修改的未设置/未使用的变量,例如setNumReduceTasks)

0 个答案:

没有答案