火花作业因纱线故障而失败

Question

我的点火作业因以下错误而失败： 诊断：容器[pid = 7277，containerID = container_1528934459854_1736_02_000001]超出物理内存限制。当前用法：使用1.4 GB的1.4 GB物理内存;使用3.1 GB的6.9 GB虚拟内存。杀死容器。

Answer 1

你的容器被杀了。当你的Yarn内存不如执行任务所需的那么多时，就会发生这种情况。因此，可能的解决方案是增加Yarn内存。

您有两个选择：

1. 增加节点管理器的当前内存大小
2. 或者在另一个Datanode上分配新的节点管理器。

它会增加纱线记忆，并确保它至少约2 GB。