如何更改Hadoop v1.x处理散乱者的方式

时间:2019-04-15 22:32:08

标签: hadoop

我最近一直在学习Hadoop v1.x,并试图实现在研究论文中遇到的算法。该算法调查了散乱任务,以查看是否确实需要杀死它们并重新启动它们,或者只是需要更多时间。有人能指出我在Hadoop源代码中可以实现此算法的正确方向吗?

我已经搜索了Hadoop v1.x源代码下载中的参数和.java类,以尝试找出逻辑来杀死任务,但无济于事。目前,我的Java技能也不是很强,但是我足够了解。

这是伪代码算法:

procedure RTUNER (Task T[])   
  for RT in T do        
    if RT in reduce then 
      flag=CHECKFORSTRAGGLER(RT) 
      REASONFORSTRAGGLER(RT) 
      decision=CHECKFORSPECULATION(RT)              
      if decision=true and CROSSSPECULATIVELIMIT()=false      
        then SPECULATE(RT) 
      end if
    end if
  end for 
end procedure

0 个答案:

没有答案