Question

点击此链接https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration#HBaseIntegration-HiveMAPtoHBaseColumnFamily

我正在尝试集成hive和hbase，我在hive-site.xml中有这个配置：

<property>
  <name>hive.aux.jars.path</name>
  <value>
    file:///$HIVE_HOME/lib/hive-hbase-handler-2.0.0.jar,
    file:///$HIVE_HOME/lib/hive-ant-2.0.0.jar,
    file:///$HIVE_HOME/lib/protobuf-java-2.5.0.jar,
    file:///$HIVE_HOME/lib/hbase-client-1.1.1.jar,
    file:///$HIVE_HOME/lib/hbase-common-1.1.1.jar,
    file:///$HIVE_HOME/lib/zookeeper-3.4.6.jar,
    file:///$HIVE_HOME/lib/guava-14.0.1.jar
  </value>
</property>

然后在hbase中创建一个名为'ts：testTable'的表：

hbase> create 'ts:testTable','pokes'
hbase> put 'ts:testTable', '10000', 'pokes:value','val_10000'
hbase> put 'ts:testTable', '10001', 'pokes:value','val_10001'
...

hbase> scan  'ts:testTable'
ROW                       COLUMN+CELL
 10000                    column=pokes:value, timestamp=1462782972084, value=val_10000
 10001                    column=pokes:value, timestamp=1462783514212, value=val_10001
....

然后在hive中创建外部表：

Hive> CREATE EXTERNAL TABLE hbase_test_table(key int, value string )
       STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
       WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, pokes:value")
       TBLPROPERTIES ("hbase.table.name" = "ts:testTable",
       "hbase.mapred.output.outputtable" = "ts:testTable");

到目前为止一切顺利。但是当我尝试从测试表中选择数据时，抛出了异常：

Hive> select * from hbase_test_table;
FAILED: RuntimeException java.lang.ClassNotFoundException: NULL::character varying
Error: Error while compiling statement: FAILED: RuntimeException java.lang.ClassNotFoundException: NULL::character varying (state=42000,code=40000)

我错过了什么吗？

我正在使用HBase 1.2.1尝试Hive 2.0.0

Answer 1

好吧，我想通了，“NULL :: character vary”不是hive的一部分，它来自Postgresql，因为我用它作为Metastore的后端。但问题是Hive没有从Postgresql中识别出这个异常。我们为Hive 2.0.0提供了以下代码：

300: if (inputFormatClass == null) {
301:   try {
302:     String className = tTable.getSd().getInputFormat();
303:     if (className == null) {
304:       if (getStorageHandler() == null) {
305:         return null;
306:       }
307:      inputFormatClass = getStorageHandler().getInputFormatClass();
308:  } else {
309:  inputFormatClass = (Class<? extends InputFormat>)
310:    Class.forName(className, true, Utilities.getSessionSpecifiedClassLoader());
    }

第302行不会返回应该为的null。因此，第310行将尝试加载一个不存在的类。这就是程序失败的原因。

我认为这是一个兼容的错误，修复它的方法是更改我讨厌的数据库。所以我只是简单地用

替换302

if (className == null || className.toLowerCase().startsWith("null::")) {

对getOutputFormat（）方法做同样的事情，然后重新编译jar，就是这样。

hive-hbase集成抛出classnotfoundexception NULL ::字符变化

1 个答案: