我的hadoop集群基于虚拟机。以下是配置:
1名主人和9名奴隶。
主
磁盘空间:20GB
记忆:16GCPU核心:8
slave1~slave9:
磁盘空间:5GB
记忆:16GCPU核心:8
我知道磁盘空间太慢,但我的数据不是很大(大约10GB),所以我认为它已经足够了。我的mapper(没有reducer)也非常简单。输出不大于5GB。
当我使用2GB数据进行测试时(已上传HDFS)。始终存在以下错误:
集装箱 [pid = 17619,containerID = container_1400594068017_0014_01_000009]是 超越物理内存限制。当前用法:1 GB的1.0 GB 使用的物理内存; 使用了11.8 GB的2.1 GB虚拟内存。杀 容器
是的,我需要增加JVM。但是,我想知道的是:虚拟内存如何计算,为什么需要11.8GB(大于奴隶磁盘空间)? 这是我的奴隶的原因吗?磁盘空间太低了?或者还有其他原因吗?配置问题?提前致谢。