Amazon AWS上的区域服务器数量

Question

假设我在Amazon弹性mapreduce上启动一个集群，并拥有一个主节点实例，两个核心节点实例和15个任务节点实例。

我认为我使用mapreduce作业和增量上传将大约1 TB的数据上传到hbase。

现在 -

1. 如何查找表大小和区域拆分（字节）。通常在CDH上我会做一个hadoop fs -du / hbase。但是我的主节点上没有/ hbase目录。

2. 我也很想知道区域服务器分配是如何工作的。所以，即使我有100个区域 - 如果我有1个主节点 - 这意味着整个IO都会受到限制吗？

由于 此致

Answer 1

您是否使用Elastic Map Reduce在Amazon AWS中启动了HBase群集？或者只是一个Hadoop集群？

1. “hadoop fs -du / hbase”在HBase-on-EMR上对我有用。你能仔细检查吗？
2. 如果你没有预先分割区域等，HBase会为你处理这个问题。至于I / O限制，请查看HBase文档/视频 - 当客户端需要从HBase读/写时，它将缓存-ROOT-和.META的结果。并直接联系区域服务器，而不是通过主服务器。