从基准集合生成无模式的Avro文件

时间:2018-07-11 22:23:01

标签: java apache-spark serialization avro

我正在尝试在Avro中序列化GenericRecords的集合,但是我希望生成的avro文件没有架构。

     for (GenericRecord genericRecord : dsGenericRecord.collectAsList()) {
                datumWriter.write(genericRecord, encoder);
            }
            dataFileWriter.flush();
            dataFileWriter.close();

            encoder.flush();
            baos.flush();
            FileUtils.writeByteArrayToFile(new File("I:/file.avro(), baos.toByteArray());

            DatumReader<GenericRecord> reader = new GenericDatumReader<>(schema);
            DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(new File("I:/file.avro"), reader);

但是最后一行给我一个例外:“不是数据文件”。 我认为编码器方法一次仅适用于一个基准,因此我想知道如何将其扩展到一组基准。

0 个答案:

没有答案