将AVRO文件发布到kafka主题

Question

我有一个文件包含AVRO格式数据需要直接发布到kafka主题的数据。在我的代码中没有太多数据解析，是否有可用的实用程序？使用kafka 1.0版本。

Answer 1

您可以从AVRO文件中读取数据，然后将其序列化为字节数组。

final Schema avroSchema = new Schema.Parser().parse(new File("yourAvroSchema.avsc"));            
File avroFile="yourAvroFile.avro"

// Read as GenericRecord
final GenericDatumReader<GenericRecord> genericDatumReader = new GenericDatumReader<>(avroSchema );
final DataFileReader<GenericRecord> genericRecords = new DataFileReader<>(avroFile, genericDatumReader);

// Serialization
ByteArrayOutputStream out = new ByteArrayOutputStream();
DatumWriter<GenericRecord> writer = new GenericDatumWriter<GenericRecord>(avroSchema);

Encoder binaryEncoder = EncoderFactory.get().binaryEncoder(out, null);

while (genericRecords.hasNext()) {
    writer.write(genericRecords.next(), binaryEncoder);
}
binaryEncoder.flush();
out.close();

// ....