什么是默认任务记忆？

Question

Hadoop map-reduce配置提供mapred.task.limit.maxvmem和mapred.task.default.maxvmem.

根据the documentation，这两个值都是long类型的值，以字节为单位，表示与任务关联的默认/上限VMEM任务限制。在这种情况下，“long”的含义似乎是32位，设置值高于2GB可能会导致负值被用作限制。

我在64位系统上运行，2GB的下限比我实际要强加的要低得多。

有没有解决这个限制的方法？

我使用的是hadoop版本0.20.1

Answer 1

此上下文中的long指的是存储设置所需的空间量，而不是可以寻址的实际内存量。因此，您可以使用最小值-9,223,372,036,854,775,808，最大值为9,223,372,036,854,775,807（含）。但是，无论如何，通常长的代表64位数据。