我在级联工作中遇到了一个减速机问题。我的所有减速器(除了一个)在大约4分钟内完成,但是有一个需要2小时来计算结果。我检查过,单个减速器或多或少地采用相同数量的地图输出:
没有太大的区别但是如果我们将比较减速机输出记录的差异要大得多:
我还注意到(感谢-Xprof选项)有问题的reducer几乎一直花在下一个方法中:
sun.nio.ch.EPollArrayWrapper.epollWait
有问题的减速机在GC中没有花费大量时间 - 在计数器之前。
你有什么线索吗?我该如何解决这个问题?也许改变工作配置会有所帮助。