如何增加减少访存线程

时间:2020-03-01 07:46:39

标签: mapreduce reduce

我的配置mapreduce.reduce.shuffle.parallelcopies的值为5。

然后我检查了应用程序日志,该作业启动了2个reduce任务,每个reduce任务仅启动了2个fetcher来从43个map-outputs复制,然后花费1小时30分钟来完成从map-outputs复制数据和合并数据。

所以我的问题是:为什么reduce任务只启动2个访存程序,而不启动5个访存程序?

0 个答案:

没有答案