Question

我在云基础架构上设置Hbase群集 HBase版本：0.94.11
Hadoop版本：1.0.4

目前我的群集中有4个节点（1个主节点，3个区域服务器），我使用YCSB（雅虎基准测试）创建表（500.000行）并发送READ请求（异步读取请求）。这个设置一切正常（因为我用神经节监视洞的过程，我得到lamda，吞吐量，延迟与YCSB的输出相结合），但是当我添加一个新的regionserver即时，因为它没有得到任何请求。

什么＆＃34;即时＆＃34;意味着：
当YCSB向集群发送请求时，我正在使用python脚本添加新的regionservers。

添加过程（当群集正在处理请求时）：

我正在创建一个新VM，它将充当新的regionserver并配置所有需要的方面（hbase，hadoop，/ etc / host，连接到专用网络等）
Stoping ** hbase ** balancer
使用新节点的信息配置群集中的每个节点
- 将主机名添加到regioservers文件
- 将主机名添加到hadoop的从属文件
- 将主机名和IP添加到每个节点的/ etc / host文件
- 等
在主节点上执行：

`的hadoop / bin中/启动dfs.sh`
`的hadoop / bin中/启动mapred.sh`
`HBase的/ bin中/启动hbase.sh`
（我还尝试在新添加的节点上运行`hbase start regionserver`，并且与最后一个命令完全相同 - 启动regionserver）

新添加的节点启动并运行后我执行** hadoop **负载均衡器
当hadoop负载均衡器停止时，我再次启动** hbase **负载均衡器

我通过ssh连接到主节点并检查负载均衡器（hbase / hadoop）是否完成了它们的工作，因为块和区域均匀分布在所有区域服务器/从服务器（包括新服务器）上。登记/> 但是，当我运行状态＆＃39;简单＆＃39;在hbase shell中，我看到新的regionservers没有收到任何请求。（下面是添加2个新的regionserver＆＃34; okeanos-nodes-4/5＆＃34;后的命令输出）

hbase(main):008:0> status 'simple'
5 live servers
    okeanos-nodes-1:60020 1380865800330
        requestsPerSecond=5379, numberOfOnlineRegions=4, usedHeapMB=175, maxHeapMB=3067
    okeanos-nodes-2:60020 1380865800738
        requestsPerSecond=5674, numberOfOnlineRegions=4, usedHeapMB=161, maxHeapMB=3067
    okeanos-nodes-5:60020 1380867725605
        requestsPerSecond=0, numberOfOnlineRegions=3, usedHeapMB=27, maxHeapMB=3067
    okeanos-nodes-3:60020 1380865800162
        requestsPerSecond=3871, numberOfOnlineRegions=5, usedHeapMB=162, maxHeapMB=3067
    okeanos-nodes-4:60020 1380866702216
        requestsPerSecond=0, numberOfOnlineRegions=3, usedHeapMB=29, maxHeapMB=3067
0 dead servers
Aggregate load: 14924, regions: 19

他们没有提供任何请求的事实也可以通过CPU使用来证明，在服务区域服务器中约为70％，而在这两个注册服务器中约为2％。

以下是hadoop dfsadmin -report的输出，因为您可以看到该块均匀分布（根据hadoop balancer -threshold 2）。

root@okeanos-nodes-master:~# /opt/hadoop-1.0.4/bin/hadoop dfsadmin -report
Configured Capacity: 105701683200 (98.44 GB)
Present Capacity: 86440648704 (80.5 GB)
DFS Remaining: 84188446720 (78.41 GB)
DFS Used: 2252201984 (2.1 GB)
DFS Used%: 2.61%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 5 (5 total, 0 dead)

Name: 10.0.0.11:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 309166080 (294.84 MB)
Non DFS Used: 3851579392 (3.59 GB)
DFS Remaining: 16979591168(15.81 GB)
DFS Used%: 1.46%
DFS Remaining%: 80.32%
Last contact: Fri Oct 04 11:30:31 EEST 2013


Name: 10.0.0.3:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 531652608 (507.02 MB)
Non DFS Used: 3852300288 (3.59 GB)
DFS Remaining: 16756383744(15.61 GB)
DFS Used%: 2.51%
DFS Remaining%: 79.26%
Last contact: Fri Oct 04 11:30:32 EEST 2013


Name: 10.0.0.5:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 502910976 (479.61 MB)
Non DFS Used: 3853029376 (3.59 GB)
DFS Remaining: 16784396288(15.63 GB)
DFS Used%: 2.38%
DFS Remaining%: 79.4%
Last contact: Fri Oct 04 11:30:32 EEST 2013


Name: 10.0.0.4:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 421974016 (402.43 MB)
Non DFS Used: 3852365824 (3.59 GB)
DFS Remaining: 16865996800(15.71 GB)
DFS Used%: 2%
DFS Remaining%: 79.78%
Last contact: Fri Oct 04 11:30:29 EEST 2013


Name: 10.0.0.10:50010
Decommission Status : Normal
Configured Capacity: 21140336640 (19.69 GB)
DFS Used: 486498304 (463.96 MB)
Non DFS Used: 3851759616 (3.59 GB)
DFS Remaining: 16802078720(15.65 GB)
DFS Used%: 2.3%
DFS Remaining%: 79.48%
Last contact: Fri Oct 04 11:30:29 EEST 2013

我已经尝试停止YCSB，重新启动hbase master并重启YCSB但不缺......这两个节点都没有提供任何请求！

由于有很多日志和配置文件，我创建了一个zip文件，其中包含主服务器的日志和配置（包括hbase和hadoop），服务于请求的健康区域服务器和不服务请求的区域服务器。 https://dl.dropboxusercontent.com/u/13480502/hbase_hadoop_logs__conf.zip

提前谢谢!!

Answer 1

我发现了正在发生的事情并且它与Hbase无关......我忘了将新RS的主机名和IP添加到YCSB服务器VM（/ etc / hosts文件）....： - （

Hbase：新添加的regionserver没有切断请求

1 个答案: