蜂巢中的原始json字段类型

时间:2017-11-08 15:26:18

标签: json hadoop hive

如何使用原始json字段在hive中定义表(不解析,作为纯文本)?

对于以下s3文件:

{"first_field":1, "json_field": {"a":{"b":"c"}, "d":"e"}, "sec_field":4}
{"first_field":2, "json_field": {"m":"cv", "d":"e"}, "sec_field":5}
{"first_field":3, "json_field": {"k":1, "d":"e"}, "sec_field":6}

我希望以下查询:

select first_field, json_field, sec_field from web.json_table;

将返回:

1   {"a":{"b":"c"}, "d":"e"}    4
2   {"m":"cv", "d":"e"}         5
3   {"k":1, "d":"e"}            6

我尝试将表定义如下:

CREATE EXTERNAL TABLE web.json_table(
first_field integer,
json_field string,
sec_field integer
) 
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
location 's3n://my-bucket';

但查询返回:

hive> select first_field, json_field, sec_field from web.json_table;
OK
1   {   NULL
2   {   NULL
3   {   NULL

1 个答案:

答案 0 :(得分:0)

我认为您无法使用通用方法在字符串中映射任何JSON。

您需要将json_field定义为已修复结构:

{"a":{"b":"c"}, "d":"e"} ==> STRUCT<a:STRUCT<b:STRING>,d:STRING>

{"m":"cv", "d":"e"} ==> STRUCT<m:STRING,d:STRING>

{"k":1, "d":"e"} ==> STRUCT<k:STRING,d:STRING>

您的实际JSON:

CREATE EXTERNAL TABLE web.json_table (
    first_field integer,
    json_field STRUCT<a:STRUCT<b:STRING>,d:STRING,m:STRING,k:STRING>,
    sec_field integer
) 
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
location 's3n://my-bucket';

警告:旧的Hive版本不支持JSON密钥中的大写。

编辑:

  1. 使用一个ext_table列作为字符串创建一个外部CSV表格json_data(使用一个不适合的特殊分隔符,前0x000x01
  2. 使用基于上一个表get_json_object的{​​{1}}创建视图,以提取所有固定和动态字段