只有17000+个地图任务的mapreduce应用程序在16000+个地图完成后在纱线上运行非常慢

时间:2018-09-12 09:05:56

标签: hadoop yarn resourcemanager mrv2 nodemanager

我正在在hadoop2.6.0(框架是MRv2,而不是tez)上使用hive0.13.1运行一个简单的sql(从viewXXX的xxxxx中选择xx,xx ...)。提交后,我发现这是一项MR工作,只有17000多个地图任务,而没有还原任务。

作业在15分钟的前期运行非常快(在此期间,群集中的所有400+个容器(20个以上节点)都分配了运行任务),但此后变得很慢(群集中没有其他作业在运行) )。

我运行了几次,发现分配给作业的容器数量随着时间的流逝而减少(不是严格,而是大致),大约15分钟后,分配给作业的容器数量变为1(这是ApplicationMaster的容器)!然后,AM总是在等待RM给它一个容器来运行地图任务。 RM不忙(没有太多的GC)并且有很多可用的容器(我在RM日志中找到了),但是每个MINUTE分配AM 1个容器。因此,这项工作最终需要7个小时才能完成。:(

任何帮助将不胜感激!

0 个答案:

没有答案