如何处理reducer中的数据偏斜?

时间:2016-02-05 17:59:28

标签: hadoop mapreduce skew bigdata

我有一个简单的mapreduce作业,对于某些键,值的数量是数百万。因此减速机无法完成。我已经浏览了这个链接Hadoop handling data skew in reducer,但如果有任何最佳实践可用于此类方案,则无法关注。任何人都可以建议在mapreduce工作中处理这种情况的最佳方法吗?

0 个答案:

没有答案