我正在尝试集成hive和hbase,但是当我使用hbase处理程序在hive中创建(外部)表时:
create external table entity_hbase(id bigint, value string, ts bigint, entity_type tinyint)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ('hbase.columns.mapping'=':key,f1:value,f1:timestamp,f1:entity_type')
tblproperties('hbase.table.name'='entity');
我收到此错误:
org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: 列族表在区域hbase:meta中不存在
首先,我不明白为什么错误会指出列族table
(而不是f1
)不存在。即使我在hbase中创建表,然后尝试在hive中创建外部表,我也会遇到相同的错误。
在所有这些之前,我的步骤是: 1.启动DFS 2.开始纱 3.启动配置单元数据库以进行配置单元 4.启动Metastore服务 5.启动hbase 6.使用配置单元外壳尝试使用hbase处理程序创建表
hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:postgresql://localhost:5432/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.postgresql.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>postgres</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value></value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/Users/home/hive/warehouse</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://0.0.0.0:9083</value>
</property>
</configuration>
hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/Users/home/hbase/zookeeper</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/3.1.1/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
</configuration>
Hadoop版本:3.1.1 蜂巢版本:3.1.1 Hbase版本:1.2.9