我已经设置了伪分布式模式群集设置。 FIFO调度程序在某种程度上卡在中间,因此很多工作堆积起来我通过cron调度。现在,当我重新启动YARN资源管理器时,它会在一段时间后停滞不前并且作业不断堆积。
有没有办法可以清除整个队列。或者,我对hadoop调度的完全理解是否存在缺陷。请帮忙。
答案 0 :(得分:4)
如果您尝试终止队列中的所有作业,则可以使用此shell脚本:
$HADOOP_HOME/bin/hadoop job -list | awk ' { system("$HADOOP_HOME/bin/hadoop job -kill " $1) } '