我正在使用4GB RAM。我已经在hdfs-site.xml中分配了512MB的块大小，并且我使用的是最大分割大小为536870912字节（512MB）的CombineFileSplit输入格式。那么我可以输入多少大小的输入文件夹将它提供给mapreduce程序，以便它可以顺利运行而不会出现内存异常。
任何人都可以就此问题提出建议......
答案 0 :(得分：0)
由于多种原因导致内存不足错误。无法提供不会导致内存不足错误的输入大小。 你最好开始使用你的mapreduce程序，如果你遇到任何内存不足错误，那么有人可以帮助解决它。
HTH
答案 1 :(得分：0)
容器数量取决于blocksize数量。如果你有2 GB块大小的2 GB数据， Yarn会创建4个地图，1个减少。在运行mapreduce时，我们应该遵循一些规则来提交mapreduce作业。（这应该适用于小型集群）
您应该在RAM DISK和CORES中配置以下属性。
EGLDisplay根据内存资源设置Java堆大小。 根据mapreduce在 yarn-site.xml 中确保上述属性后，将有效地成功。