Hadoop如何在作业执行期间计算物理内存和虚拟内存

时间:2015-06-04 04:38:27

标签: mapreduce hadoop2

我几乎没有与Hadoop中用于显示内存使用情况的计数器相关的查询。 在群集上执行的map reduce工作使我低于menitoned计数器值。使用的输入文件只有KB,但这些计数器显示35GB和420 GB的使用率。 PHYSICAL_MEMORY_BYTES = 35110662144 VIRTUAL_MEMORY_BYTES = 420121841664

对于同一输入文件上的另一个不同作业,它显示309 MB(物理)和3G(虚拟)用法

PHYSICAL_MEMORY_BYTES = 309526528 VIRTUAL_MEMORY_BYTES = 3435827200

第一个作业比其他作业更加CPU密集,并创建比另一个更多的对象,但仍显示它的使用率似乎非常高。 所以我只是想知道如何计算这个内存使用情况。我尝试浏览一些帖子并对下面的链接进行过度观察,这似乎是 描述这些变量(https://issues.apache.org/jira/i#browse/MAPREDUCE-1218)的需求任务,但无法找到如何计算这些变量。它确实让我了解了如何将这些值传递给Job Tracker,但没有关于如何确定这些值的信息。因此,如果某人能够对此有所了解,那么它将非常有用。

1 个答案:

答案 0 :(得分:0)

您可以找到少量参考文献herehere。第二个链接特别是map和reducer作业以及如何根据内存分配决定插槽。快乐学习