使用nutch crawler时，会创建提取作业，以便来自同一主机的URL最终位于单个数据节点中以维持爬网礼貌（1 QPS）。但是，某些主机允许超过1 QPS，因此URL会相应地进行分区。对于此类主机，URL将位于两个意图在两个不同数据节点上运行的提取作业中。但有时，Fair调度程序会将这些作业（减少任务）调度到同一数据节点。
那么有什么方法可以解决这个问题吗？
非常感谢任何帮助。
由于
答案 0 :(得分：0)
我不确定你是否想做这样的事情，因为它会影响你的Hadoop群集的其余部分......
您可以将每个节点的reduce插槽数设置为1.要为此更改的配置参数为mapred.tasktracker.reduce.tasks.maximum。