Question

我必须将json格式的数据加载到配置单元中。问题是存在一个字段，该字段的日期与每条记录不同，从而导致各种问题。一条记录的DDL如下：

CREATE EXTERNAL TABLE `not_really_awesome_table` (
  `super_wtf`         struct<
    `10-02-2019`:        string
  >
  `super_blah`        struct <
    `bleh`:             string,
    `blah`:             string,
    `sub_blah`:         struct <
      `blah_field`:       string,
      `bleh_field`:       string
    >
  >
)
ROW FORMAT  serde 'org.openx.data.jsonserde.JsonSerDe'
with serdeproperties ( 'ignore.malformed.json' = 'true' )
LOCATION
  's3://wtf/is/this/lol'
TBLPROPERTIES (
  'has_encrypted_data'='false',
  'transient_lastDdlTime'='1539066055')
;

是否有一种方法可以忽略super-wtf字段或将其转换为可以避免进一步解析的类型？

Answer 1

您可以跳过DDL中的super-wtf列并添加其他所有内容：

CREATE EXTERNAL TABLE `not_really_awesome_table` (
  `super_blah`        struct <
    `bleh`:             string,
    `blah`:             string,
    `sub_blah`:         struct <
      `blah_field`:       string,
      `bleh_field`:       string
    >
  >
)

在这种情况下，不会从JSON中进行解析。

或者在DDL中将super-wtf列定义为map<string, string>

蜂巢：忽略创建表中的字段

1 个答案: