标签: mapreduce reduce
我的配置mapreduce.reduce.shuffle.parallelcopies的值为5。
mapreduce.reduce.shuffle.parallelcopies
然后我检查了应用程序日志,该作业启动了2个reduce任务,每个reduce任务仅启动了2个fetcher来从43个map-outputs复制,然后花费1小时30分钟来完成从map-outputs复制数据和合并数据。
所以我的问题是:为什么reduce任务只启动2个访存程序,而不启动5个访存程序?