Hive DDL用于具有复杂数据类型的镶木地板甲板

时间:2015-12-11 02:13:40

标签: hadoop hive ddl parquet

有人可以帮我为这个以Parquet格式处理和存储的数据集创建Hive DDL。

属性:

{
  "freq": "8600",
  "id": "23266",
  "array": [
    {
      "ver": "201.0.0.F",
      "key_ver": "201.0.0.F",
      "key": "001I1SS",
      "code": "ACDEE",
      "prod_code": "DSADVVSS",
      "prod_key": "001123"
    }
  ],
  "ipm": null,
  "offline": "1234234209600"
}

1 个答案:

答案 0 :(得分:1)

CREATE TABLE my_table(freq INT, id INT, array<struct<ver: FLOAT, key_ver: FLOAT, key: STRING, code: STRING, prod_code: STRING, prod_key: INT>>, ipm: **UNKOWN**, offline: BIGINT>

由于JSON的类型比Hive少很多,因此我们无法从您发布的内容中获取所需的所有信息。例如,我们不知道ipm的类型应该是什么,我们不知道id应该是INT还是BIGINT等等

由于您已经将该JSON文件转换为Parquet文件,因此您可以检查Parquet文件(其中包含更多类型)以更好地了解要使用的Schema。