有没有办法在转换为avro时处理丢失的数据,avro甚至没有空值

时间:2016-03-25 16:32:52

标签: avro

我们正在将json数据转换为Avro,我们已经定义了完整的架构。但是,我们面临着缺少字段的问题。 我们已确保使用[null或field data] union定义字段,但如果json数据中根本不存在该字段,则它不起作用。有什么方法可以处理数据中未显示的缺失字段。

例如:

架构:

{
  "type" : "record",
  "name" : "Str",
  "namespace" : "com.srini.avromeetup",
  "doc" : "Schema for com.srini.avromeetup.Str",
  "fields" : [ {
    "name" : "str",
    "type" :  "string"
  }, {
    "name" : "str2",
    "type" : "string"
  } ]
}

输入:有效:

{
  "str" : {"string":"abcd"},
  "str2" : null
}

给我提问的输入:

{
  "str" : {"string":"abcd"}
}

如果json中没有数据,我该如何处理。

谢谢你, 问候, 作者Srini。

0 个答案:

没有答案