标签： hadoop mapreduce yarn
在我的hadoop集群上，当DeviceMaster（AM）被NodeManager杀死时，我遇到了一个问题，因为AM尝试分配的默认值超过1GB。 AM负责的MR应用程序是仅映射器作业（1（！）映射器，没有减速器，从远程源下载数据）。在AM被杀的那一刻，MR工作没问题（使用约70％的ram限制）。 MR作业没有任何自定义计数器，分发缓存等，只需通过自定义输入格式下载数据（按部分）。 为了解决这个问题，我提出了AM的内存限制，但是我想知道为像我这样的琐碎工作吃1GB（！）的原因是什么？