使用Hive将JSON文件插入HBase

时间:2018-01-08 17:56:20

标签: json hadoop hive hbase

我有一个简单的JSON文件,我想插入HBase table。 我的JSON文件格式如下:

{  
   "word1":{  
      "doc_01":4,
      "doc_02":7
   },
   "word2":{  
      "doc_06":1,
      "doc_02":3,
      "doc_12":8
   }
}

HBase表名为inverted_index,它有一个列族matches

我想使用键word1word2等作为行键及其值插入列族matches

我知道Hive支持JSON解析,我已经尝试过了,但只有当我事先知道JSON中的密钥才能访问记录时。

我的问题是我不知道我的JSON文件包含什么或多少个单词,或者每个单词将包含多少匹配(尽管它不能为空)。

我的问题:这只能使用蜂巢吗?如果是这样,请提供一些关于用于实现该目的的hive查询/函数的指示。

如果没有,有没有其他方法可以解决这个问题?提前谢谢。

0 个答案:

没有答案