Hadoop减速机性能瓶颈

时间:2015-09-27 09:47:38

标签: java hadoop cascading reducers

我在级联工作中遇到了一个减速机问题。我的所有减速器(除了一个)在大约4分钟内完成,但是有一个需要2小时来计算结果。我检查过,单个减速器或多或少地采用相同数量的地图输出:

  • 3977529 - 有问题的减速机的减少输入记录数
  • 3950478 - 此作业中常用减速器的减少输入记录数

没有太大的区别但是如果我们将比较减速机输出记录的差异要大得多:

  • 388084339 - 有问题的减速机的减少输出记录数
  • 4082267 - 此作业中通常的reducer生成的减少输出记录数

我还注意到(感谢-Xprof选项)有问题的reducer几乎一直花在下一个方法中:

  

sun.nio.ch.EPollArrayWrapper.epollWait

有问题的减速机在GC中没有花费大量时间 - 在计数器之前。

你有什么线索吗?我该如何解决这个问题?也许改变工作配置会有所帮助。

0 个答案:

没有答案