hadoop集群配置是否可行?什么是最小磁盘空间要求?

时间:2014-05-23 02:11:37

标签: java memory hadoop bigdata

我的hadoop集群基于虚拟机。以下是配置:

1名主人和9名奴隶。

磁盘空间:20GB

记忆:16G

CPU核心:8

slave1~slave9:

磁盘空间:5GB

记忆:16G

CPU核心:8

我知道磁盘空间太慢,但我的数据不是很大(大约10GB),所以我认为它已经足够了。我的mapper(没有reducer)也非常简单。输出不大于5GB。

当我使用2GB数据进行测试时(已上传HDFS)。始终存在以下错误:

  

集装箱   [pid = 17619,containerID = container_1400594068017_0014_01_000009]是   超越物理内存限制。当前用法:1 GB的1.0 GB   使用的物理内存; 使用了11.8 GB的2.1 GB虚拟内存。杀   容器

是的,我需要增加JVM。但是,我想知道的是:虚拟内存如何计算,为什么需要11.8GB(大于奴隶磁盘空间)? 这是我的奴隶的原因吗?磁盘空间太低了?或者还有其他原因吗?配置问题?提前致谢。

0 个答案:

没有答案