如何在mapreduce和hbase之间拆分内存

Question

我有一台24 G内存的机器，想要对它们运行hdfs，map-reducer和hbase，但我想在map-reducer和hbase之间分割内存{1}}。

我希望hbase使用最大15G内存和map-reducer来获得8G最大值。实现它的最佳方法是什么？

Answer 1

在配置文件中，您可以指定允许每个进程的数量 HBase由hbase-env.sh控制 mapreduce由mapred-site.xml控制

每个文件都有很好的注释，可以帮助您找到所需的确切属性。

最棘手的是mapreduce：根据你想要的插槽数量，你必须将你愿意给mapreduce的最大内存除以你在机器上提供的插槽数量。因此，如果您只需要一个插槽，则可以将最大子内存设置为8GB; 2个插槽为您提供4GB;等。

您还可以在mapred-site.xml文件中将子内存设置为final，这样任务本身就无法覆盖它。