Question

我将Json转换为avro。我在JSONArray中有json数据。因此，在将其转换为字节数组时，我将面临问题。

下面是我的代码：

static byte [] fromJsonToAvro(JSONArray json, String schemastr) throws Exception {

ExcelToJson ejj = new ExcelToJson();
List<String> list = new ArrayList<String>();


if (json != null) { 
    int len = json.length();
    for (int i=0;i<len;i++){ 
        list.add(json.get(i).toString());
    } 
}


InputStream input = new ByteArrayInputStream(list.getBytes()); //json.toString().getBytes()

 DataInputStream din = new DataInputStream(input); 
                  .
                  . 
                  .//rest of the logic

那我该怎么办呢？如何将JsonArray对象转换为字节（即，如何对JsonArray对象使用getBytes（）方法）。上面的代码在list.getBytes()给出了一个错误，并且说getBytes（）是列表的。

Answer 1

Avro在记录级别工作，绑定到架构。我认为没有“将此JSON片段转换为独立于任何架构或记录的Avro字段的字节”这样的概念。

假设数组是更大的JSON记录的一部分，如果你从记录的字符串开始，你可以做

public static byte[] jsonToAvro(String json, String schemaStr) throws IOException {
    InputStream input = null;
    DataFileWriter<GenericRecord> writer = null;
    Encoder encoder = null;
    ByteArrayOutputStream output = null;
    try {
        Schema schema = new Schema.Parser().parse(schemaStr);
        DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>(schema);
        input = new ByteArrayInputStream(json.getBytes());
        output = new ByteArrayOutputStream();
        DataInputStream din = new DataInputStream(input);
        writer = new DataFileWriter<GenericRecord>(new GenericDatumWriter<GenericRecord>());
        writer.create(schema, output);
        Decoder decoder = DecoderFactory.get().jsonDecoder(schema, din);
        GenericRecord datum;
        while (true) {
            try {
                datum = reader.read(null, decoder);
            } catch (EOFException eofe) {
                break;
            }
            writer.append(datum);
        }
        writer.flush();
        return output.toByteArray();
    } finally {
        try { input.close(); } catch (Exception e) { }
    }
}

Answer 2

对于在线json到avro转换器，请检查以下URL

http://avro4s-ui.landoop.com

正在使用提供大量转化的库avro4s，包括json =＆gt; avro

Answer 3

这个讨论很有用：

http://mail-archives.apache.org/mod_mbox/avro-user/201209.mbox/%3CCALEq1Z8s1sfaAVB7YE2rpZ=v3q1V_h7Vm39h0HsOzxJ+qfQRSg@mail.gmail.com%3E

要点是有一个特殊的Json模式，您可以使用JsonReader / Writer来进行此操作。您应该使用的Json模式在此处定义：

https://github.com/apache/avro/blob/trunk/share/schemas/org/apache/avro/data/Json.avsc

Json转换为avro

3 个答案: