Question

嘿avro用户和专家，

我想使用avro logicalTypes，意味着自己创建一些 - 不仅仅使用内置的。

问题是如何让编译器从架构生成代码以使用我自己创建的代码。

我创建了我的架构（相关部分）：

{
  "name": "street",
  "type": {
    "type": "string",
    "logicalType": "custom-street"
  },
  "doc": "Street format ending with house number"
}

（当然还有创建的类型和转化，请参阅https://github.com/markush81/avro-examples）

我现在没有线索如何配置编译器使用它。

我通过gradle插件使用编译器（但我猜这在第一时间没有任何区别）

plugins {
    id 'com.commercehub.gradle.plugin.avro' version '0.14.2'
}

avro {
    enableDecimalLogicalType = true //enable built-in decimal type
}

感谢任何提示（或解决方法）。

P.S。：当然我知道如何操作生成的类来支持我的逻辑类型（参见：https://github.com/markush81/avro-examples/tree/master/src/main/manual），但这意味着我永远不能从我的模式定义中重新编译。

Answer 1

在avro code 1.8.2中进行了大量搜索之后，我得出的结论是，目前编译器工具尚不支持用于代码生成的自定义逻辑类型。

如果我们看看record.vm速度模板

#if ($this.hasLogicalTypeField($schema))
    protected static final org.apache.avro.data.TimeConversions.DateConversion DATE_CONVERSION = new org.apache.avro.data.TimeConversions.DateConversion();
    protected static final org.apache.avro.data.TimeConversions.TimeConversion TIME_CONVERSION = new org.apache.avro.data.TimeConversions.TimeConversion();
    protected static final org.apache.avro.data.TimeConversions.TimestampConversion TIMESTAMP_CONVERSION = new org.apache.avro.data.TimeConversions.TimestampConversion();
    protected static final org.apache.avro.Conversions.DecimalConversion DECIMAL_CONVERSION = new org.apache.avro.Conversions.DecimalConversion();

    private static final org.apache.avro.Conversion<?>[] conversions = new org.apache.avro.Conversion<?>[] {
    #foreach ($field in $schema.getFields())
        ${this.conversionInstance($field.schema())},
    #end
       null
    };

    @Override
    public org.apache.avro.Conversion<?> getConversion(int field) {
        return conversions[field];
    }
#end

仅添加了四个转换，这些转换由avro本身提供。

另一个值得关注的地方是org.apache.avro.compiler.specific.SpecificCompiler

  public String conversionInstance(Schema schema) {
      if (schema == null || schema.getLogicalType() == null) {
           return "null";
      }

      if (LogicalTypes.date().equals(schema.getLogicalType())) {
           return "DATE_CONVERSION";
      } else if (LogicalTypes.timeMillis().equals(schema.getLogicalType())) {
           return "TIME_CONVERSION";
      } else if (LogicalTypes.timestampMillis().equals(schema.getLogicalType())) {
           return "TIMESTAMP_CONVERSION";
      } else if (LogicalTypes.Decimal.class.equals(schema.getLogicalType().getClass())) {
           return enableDecimalLogicalType ? "DECIMAL_CONVERSION" : "null";
      }

      return "null";
}

根本没有地方可以添加自定义逻辑类型。

Answer 2

从Avro 1.9.x开始，现在可以注册自定义logicalType和conversion。

要点是写

LogicalType
LogicalTypeFactory
转化

通过maven和gradle，还支持使用avro模式中的自定义类型生成的代码。参见示例https://github.com/markush81/avro-examples。

Gradle插件配置

plugins {
    id 'com.commercehub.gradle.plugin.avro' version '0.18.0'
}

avro {
    enableDecimalLogicalType = true
    dateTimeLogicalType = "JSR310"
    stringType = "CharSequence"
    outputCharacterEncoding = "UTF-8"
    logicalTypeFactory("street", de.mh.examples.avro.StreetLogicalTypeFactory)
    customConversion(de.mh.examples.avro.StreetConversion)
}

Avro - 如何为SpecificCompiler注册自定义LogicalType

2 个答案: