我正在尝试编写一个非常简单的avro架构(很简单因为我只是指出我当前的问题)来编写基于json格式存储的数据的avro数据文件。诀窍是一个字段是可选的,其中一个avrotools或我做得不对。
我的目标不是编写自己的序列化器,最终的目的是将其置于水槽中,我处于早期阶段。
数据(工作),名为so.log:
的文件{
"valid": {"boolean":true}
, "source": {"bytes":"live"}
}
架构,名为so.avsc:
的文件{
"type":"record",
"name":"Event",
"fields":[
{"name":"valid", "type": ["null", "boolean"],"default":null}
, {"name":"source","type": ["null", "bytes"],"default":null}
]
}
我可以使用以下命令轻松生成avro文件:
java -jar avro-tools-1.7.6.jar fromjson --schema-file so.avsc so.log
到目前为止一切顺利。问题是“源”是可选的,所以我希望以下数据也是有效的:
{
"valid": {"boolean":true}
}
但是运行相同的命令会给我错误:
Exception in thread "main" org.apache.avro.AvroTypeException: Expected start-union. Got END_OBJECT
at org.apache.avro.io.JsonDecoder.error(JsonDecoder.java:697)
at org.apache.avro.io.JsonDecoder.readIndex(JsonDecoder.java:441)
at org.apache.avro.io.ResolvingDecoder.doAction(ResolvingDecoder.java:229)
at org.apache.avro.io.parsing.Parser.advance(Parser.java:88)
at org.apache.avro.io.ResolvingDecoder.readIndex(ResolvingDecoder.java:206)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:155)
at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:193)
at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:183)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:151)
at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:142)
at org.apache.avro.tool.DataFileWriteTool.run(DataFileWriteTool.java:99)
at org.apache.avro.tool.Main.run(Main.java:84)
at org.apache.avro.tool.Main.main(Main.java:73)
我确实在架构中尝试了很多变化,即使是不遵循avro规范的事情。据我所知,我在这里展示的模式是规范应该是什么。
有人知道我做错了什么,以及如何在不编写自己的序列化器的情况下实际拥有可选元素?
谢谢,
答案 0 :(得分:2)
根据Java API的documentation:
使用构建器需要设置所有字段,即使它们为空
另一方面,python API似乎允许空字段真正是可选的:
由于字段favorite_color具有类型[“string”,“null”],因此我们不需要指定此字段
简而言之,由于大多数工具都是Java编写的,因此通常必须明确给出空字段。