我设置了具有单个节点的hadoop集群作为
操作系统:CentOS Linux版本7.0.1406
Hadoop :2.6.0
Java :1.7
我的问题是hadoop堆内存。我正在成功地在减速器设置步骤中读取50 MB的文件,但是当文件大于大约(500MB)时,它会给我"内存不足错误"。当我浏览http:/ ip_address:50070 / dfshealth.html#tab-overview时,它会向我提供以下信息。
堆内存使用了282.52 MB的471 MB堆内存。最大堆内存为8.89 GB。
更多错误描述:
Map-Reduce Framework
Map input records=176
Map output records=512299
Map output bytes=26127249
Map output materialized bytes=27151853
Input split bytes=108
Combine input records=0
Spilled Records=512299
Failed Shuffles=0
Merged Map outputs=0
GC time elapsed (ms)=87
CPU time spent (ms)=4410
Physical memory (bytes) snapshot=277155840
Virtual memory (bytes) snapshot=903360512
Total committed heap usage (bytes)=202375168
File Input Format Counters
Bytes Read=846327
配置中缺少什么。有人可以帮帮我吗?