我最近一直在学习Hadoop v1.x,并试图实现在研究论文中遇到的算法。该算法调查了散乱任务,以查看是否确实需要杀死它们并重新启动它们,或者只是需要更多时间。有人能指出我在Hadoop源代码中可以实现此算法的正确方向吗?
我已经搜索了Hadoop v1.x源代码下载中的参数和.java类,以尝试找出逻辑来杀死任务,但无济于事。目前,我的Java技能也不是很强,但是我足够了解。
这是伪代码算法:
procedure RTUNER (Task T[])
for RT in T do
if RT in reduce then
flag=CHECKFORSTRAGGLER(RT)
REASONFORSTRAGGLER(RT)
decision=CHECKFORSPECULATION(RT)
if decision=true and CROSSSPECULATIVELIMIT()=false
then SPECULATE(RT)
end if
end if
end for
end procedure