Hadoop检查散乱者和推测的类的流程是什么?

时间:2019-04-20 17:33:13

标签: java hadoop mapreduce hadoop2

据我对Hadoop的有限了解,我知道TaskTracker负责Map和Reduce任务。我正在尝试通过(1)检查散乱者,(2)确定任务散乱的原因,然后(3)决定是否推测慢任务来修改对推测慢任务的决定。

我知道您可以通过修改诸如mapreduce.map.speculativemapreduce.reduce.speculative之类的参数来修改诸如持续时间和推测任务数量之类的限制。但是,我想修改推测散兵的方法

我正在研究源代码中的java类,以查找所有发生这种情况的地方,但是对代码库的庞大性感到困难。首先,我正在查看位于GitHub中的代码的“ mapreduce”目录中的类(尽管我相信mapred相似,只是已经过时):

https://github.com/apache/hadoop/tree/6d0bffe17eadedd60d4599427248b0db4a7c5502/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-core/src/main/java/org/apache/hadoop/mapreduce

这是正确的文件夹吗?指向此课程的正确班级的任何帮助将不胜感激!

0 个答案:

没有答案