我有一个包含10个节点的Hadoop集群。在10个节点中,其中3个节点部署了HBase。共享群集有两个应用程序。 应用程序1从hadoop HDF写入和读取数据。应用程序2将数据存储到HBase中。纱线是否有办法确保推出hadoop M / R工作 应用程序1不使用Hbase节点上的插槽?我只希望应用程序2启动的Hbase M / R作业使用HBase节点。 这需要确保应用程序2有足够的资源,以便HBase扫描速度非常快。
有关如何实现这一目标的任何建议吗?
答案 0 :(得分:0)
如果您在Yarn上运行HBase和您的应用程序,应用程序主服务器(HBase本身和MR作业)可以请求数据节点上的最大可用资源。
您是否了解hortonworks项目Hoya = HBase on Yarn?
特别是其中一项功能是:
在维持HBase的低延迟SLA的同时运行MR作业