Question

我一直在试验完全分布式版本的一些问题。首先，我会告诉你我的配置：

我有4台服务器（server_ {1,2,3,4}），6GB Ram和2个核心。我在所有这些中安装了hadoop，这是配置：

server_1是namenode，datanode和secondary namenode
server_2，server_3，server_4：数据节点

存储空间大约为500GB

另一方面，我安装了hbase，这是配置：

server_1：master和regionserver
server_2：zookeeper和regionserver
server_3和server_4：regionserver

每个服务器的

hbase-site.xml如下所示：

 <property>
   <name>hbase.zookeeper.quorum</name>
   <value>server_2</value>
 </property>
 <property>
   <name>hbase.zookeeper.property.dataDir</name>
   <value>/hdfs/zookeeper</value>
 </property>
 <property>
   <name>dfs.support.append</name>
   <value>true</value>
 </property>
 <property>
   <name>hbase.rootdir</name>
   <value>hdfs://server_1:54310/hbase</value>
 </property>
 <property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
 </property>

所以我有些问题你可以帮助我：

插入速度很慢。我有一个包含两个列族的字母数字行。插入200000行大约需要9分钟，但这或多或少可以接受。
我在创建配置时有一个map reduce作业：

Configuration config = HBaseConfiguration.create();

然后我要求config.get("hbase.cluster.distributed");并且说“假”，您怎么看？

Answer 1

对于第一个问题，很难真正给出一个好的答案，为什么插入缓慢（或者它们是否真的很慢）。我们不知道机器有多强大，你有什么样的磁盘或网络硬件，单个单元格值有多大，列或行键有多大等等。有太多的变量需要决定这是慢还是快。

关于分布式设置，您需要确保启动 MapReduce作业的计算机也具有相同的hbase-site.xml。您还需要确保MR Configuration类加载hbase-site.xml。

hbase.cluster.distributed设置为true但声明为false

1 个答案: