具有Avro的递归架构(SchemaBuilder)

时间:2019-06-20 07:56:51

标签: java avro recursive-datastructures

是否可以制作一个递归的avro模式,例如

Schema schema = SchemaBuilder
    .record("RecursiveItem")
    .namespace("com.example")
    .fields()
    .name("subItem")
    .type("RecursiveItem")
    .withDefault(null) // not sure about that too...
    .endRecord();

像这样使用它时,我收到一个StackOverflowError:

static class RecursiveItem {
  RecursiveItem subItem;
}

RecursiveItem item1 = new RecursiveItem();
RecursiveItem item2 = new RecursiveItem();
item1.subItem = item2;

final DatumWriter<RecursiveItem> writer = new SpecificDatumWriter<>(schema);

// note: I actually want a binary output, but I started with some json code I found
ByteArrayOutputStream stream = new ByteArrayOutputStream();
final JsonEncoder encoder = EncoderFactory.get().jsonEncoder(schema, stream);
writer.write(rec1, encoder);
String json = stream.toString();

注意:如果使用以下方法创建架构,也会出现StackOverflowError:

Schema schema = ReflectData.get().getSchema(RecursiveItem.class);

1 个答案:

答案 0 :(得分:0)

警告:我找到了写解决方案,但无法阅读:-\

我不确定是否真的了解,但是我设法使其适用于:

  1. ReflectDatumWriter应该代替SpecificDatumWriter

  2. 由于在编码时自动查找架构,我仍然找不到架构的问题。它查找具有自动派生的名称空间和名称的架构。在我的类是静态子类的情况下,应使用以下内容:

    String cls = RecursiveItem.class.getSimpleName();
    String pck = RecursiveItem.class.getPackage().getName();
    if (RecursiveItem.class.getEnclosingClass() != null) // nested class
      pck = RecursiveItem.class.getEnclosingClass().getName() + "$";
    
  3. 要管理null,应使用以下架构

    Schema schema0 = SchemaBuilder
      .record(cls)
      .namespace(pck)
      .fields()
      .name("subItem")
      .type().unionOf().nullType().and().type("RecursiveItem").endUnion()
      .nullDefault()
      .endRecord();