有没有办法创建一个自动扩展的Hadoop Hbase集群

Question

我使用aws自动缩放我的网络服务器和Apache whirr for hadoop habse cluster。 Apache whirr是否具有自动缩放属性。

Answer 1

您可以使用基于容器的框架的Apache Mesos。 Mesos在容器上工作（例如，dockers用于启动服务。）在mesos中，您可以配置所需的实例数，配置资源，向上/向下扩展等。它还将负责更新维护进程的状态。最近发布了hbaseconf 2015，其中adobe已开始使用mesos在其制作中进行自动缩放。您还可以使用google kuberneetes或marathon来管理群集和配置。我亲自在我的本地群集上试过这个。有关入门的详细信息，请按照此link

进行操作

介绍的基本介绍和功能，供快速参考[来源：apache网站]

什么是Mesos？ 分布式系统内核

Mesos使用与Linux内核相同的原理构建，仅在不同的抽象层次上构建。 Mesos内核在每台机器上运行，并为API提供应用程序（例如，Hadoop，Spark，Kafka，Elastic Search），用于整个数据中心和云环境的资源管理和调度。

项目功能

1. 可扩展到10,000个节点
2. 使用ZooKeeper
的容错复制主服务器和从服务器
3. 支持Docker容器使用Linux容器的任务之间的本机隔离
4. 多资源调度（内存，CPU，磁盘和端口）
5. 用于开发新并行应用程序的Java，Python和C ++ API
6. 用于查看群集状态的Web UI