Question

我的数据存储在HDFS目录/ tmp / kafka / alert中的多个文件中。每个文件都包含新行分隔的JSON对象，如下所示。

{"alertHistoryId":123456,"entityId":123,"deviceId":"123","alertTypeId":1,"AlertStartDate":"Dec 28, 2016 12:05:48 PM"}
{"alertHistoryId":123456,"entityId":125,"deviceId":"125","alertTypeId":5,"AlertStartDate":"Dec 28, 2016 11:58:48 AM"}

我在下面添加了hive JSON SerDe jar

ADD JAR /usr/local/downloads/hive-serdes-1.0-SNAPSHOT.jar;

我用以下

创建了表格

CREATE EXTERNAL TABLE IF NOT EXISTS my_alert (
alertHistoryId bigint, entityId bigint, deviceId string, alertTypeId int,  AlertStartDate string
)
ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe'
LOCATION '/tmp/kafka/alert';

表已成功创建。但是当我获取数据时，我得到了所有空值。任何人都知道如何解决这个问题？

Answer 1

不要使用Serde添加Jar并转换它们总是开销。比你可以使用内置的get_json_object和json_tuple读取JSON。如果你正在寻找一个如何使用的例子请参阅此博客querying-json-records-via-hive

如果您只想使用JSON Serde，请查看此Hive-JSON-Serde。在测试之前首先验证JSON Validator。

Answer 2

您使用的是旧版JSON Serde。您的JSON Serde和Hadoop Distribution可能存在问题。请在下面找到链接以获取Json Serde的新版本。按照链接中的步骤，根据您的Hadoop发行版构建它。

https://github.com/rcongiu/Hive-JSON-Serde

请参阅下面的工作示例。

hive> add jar /User/User1/json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar;
Added [/User/User1/json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar] to class path
Added resources: [/User/User1/json-serde-1.3.8-SNAPSHOT-jar-with-dependencies.jar]
hive> use default;
OK
Time taken: 0.021 seconds
hive> CREATE EXTERNAL TABLE IF NOT EXISTS json_poc (
    > alertHistoryId bigint, entityId bigint, deviceId string, alertTypeId int,  AlertStartDate string
    > )
    > ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
    > LOCATION '/User/User1/sandeep_poc/hive_json';
OK
Time taken: 0.077 seconds
hive> select * from json_poc;
OK
123456  123     123     1       Dec 28, 2016 12:05:48 PM
123456  125     125     5       Dec 28, 2016 11:58:48 AM
Time taken: 0.052 seconds, Fetched: 2 row(s)
hive>

如何制作jar。

应该在你的PC上安装Maven然后运行这样的命令。

C:\Users\User1\Downloads\Hive-JSON-Serde-develop\Hive-JSON-Serde-develop>mvn -Phdp23 clean package

在我的情况下，我使用的是hdp2.3，所以我提供了-Phdp23

希望如果你愿意使用Hive JSON Serde会有所帮助。

使用JSON SerDe获取所有NULL值的Hive外部表

2 个答案: