据我对Hadoop的有限了解,我知道TaskTracker负责Map和Reduce任务。我正在尝试通过(1)检查散乱者,(2)确定任务散乱的原因,然后(3)决定是否推测慢任务来修改对推测慢任务的决定。
。我知道您可以通过修改诸如mapreduce.map.speculative
和mapreduce.reduce.speculative
之类的参数来修改诸如持续时间和推测任务数量之类的限制。但是,我想修改推测散兵的方法。
我正在研究源代码中的java类,以查找所有发生这种情况的地方,但是对代码库的庞大性感到困难。首先,我正在查看位于GitHub中的代码的“ mapreduce”目录中的类(尽管我相信mapred相似,只是已经过时):
这是正确的文件夹吗?指向此课程的正确班级的任何帮助将不胜感激!