具有可空字段模式的AWS Glue动态框架写入

时间:2018-07-18 09:13:20

标签: apache-spark pyspark aws-glue

我正在使用AWS胶水阅读avro,执行一些ETL并重写avro。 我遇到的问题是avro之前和之后的架构不相同

root
|-- visit_id: int
|-- visit_date: int
|-- visit_date_timestamp: long

在此前后,它看起来像这样:

  "fields" : [ {
    "name" : "visit_id",
    "type" : [ "int", "null" ]
  }, {
    "name" : "visit_date",
    "type" : [ "int", "null" ]
  }, {
    "name" : "visit_date_timestamp",
    "type" : [ "long", "null" ]
}]

我不确定如何将null类型添加到avro模式。

0 个答案:

没有答案