在同一群集中并置HBase和MapReduce进程

Question

为什么通常不建议在同一群集中共存HBase和MapReduce进程？

Answer 1

潜在的问题是分析IO，尤其是读取操作，可以以全带宽运行磁盘。需要共享带宽的HDFS可能会受到影响;你的响应能力SLA有问题。

您可以做的是拥有一个HDFS群集，在分析和HBase之间进行分割

1. 不要在一个机架上运行YARN Nodemanagers;致力于HBase
2. 在任何地方运行RM，但使用YARN标签来区分hbase节点和分析工作负载可以使用的节点;将标签附加到队列，以便大多数工作不在HBase节点上运行。

第二个选项是我们在使用Apache Slider（孵化）在YARN集群中部署HBase时所做的事情。您标记的东西，以便HBase节点专门使用这些机器。即使在那里，远程网络IO仍然可能最终要求从这些服务器上获取数据，但是YARN放置调度程序总是试图避免以这种方式调度工作，所以它要少得多。