即使节点有可用内存,纱线作业也会以退出代码143崩溃

时间:2015-05-05 23:03:53

标签: hadoop memory-management mapreduce yarn

我的地图任务超时退出代码143,我认为这是一个内存问题。根据我的理解,从我的设置,每个容器将获得3GB的内存,2.5gb将分配给Java堆。当我检查纱线网页UI上的内存可用性时,我发现内存使用没有通过内容可用,但我的作业在600秒后超时。

这可能会发生,因为我的工作使用了太多的Java堆并崩溃了吗?

_.pluck(ko.toJS(myArray), 'id')

_(ko.toJS(myArray)).pluck('id)

1 个答案:

答案 0 :(得分:0)

  1. 你的映射器正在执行一项耗时超过600秒的任务,nodemanager认为它死了,因此杀了它。
  2. 请在执行任务之间确定任务是否存在。
  3. 如果您要更新计数器,将自动完成确认。
  4. 超时超过600秒