Java / Scala中的随机Avro数据生成器

Question

是否可以使用org.apache.avro库通过指定的架构生成随机Avro数据？ 我需要使用Kafka生成此数据。

我试图找到某种随机数据生成器进行测试，但是，我偶然发现了用于此类数据生成器或GenericRecord用法的工具。工具不是非常适合我，因为存在特定的文件依赖性（例如读取文件等），并且据我所知，GenericRecord应该一个接一个地生成。

还有Java / Scala的其他解决方案吗？

更新：我发现了this class，但似乎无法从org.apache.avro版本1.8.2进行访问

Answer 1

您需要读取文件的原因是，它与Schema匹配，该Schema定义了需要创建的字段以及类型。

这不是一个硬性要求，没有什么可以阻止通过Avro的Generic类在代码中建立随机Specific或SchemaBuilder记录的创建

请参见this repo for example，它使用了从AVSC模式生成的POJO（同样可以用SchemaBuilder完成）到Java类。

即使您链接到uses a schema file

的课程

Answer 2

因此，我个人可能会结合使用Avro4（https://github.com/sksamuel/avro4s）和标尺（https://www.scalacheck.org）Gen来对此类测试进行建模。

您可以使用scalacheck生成案例类的随机实例，并使用avro4s将它们转换为通用记录，提取其模式等。

还有一个avro-mocker https://github.com/speedment/avro-mocker，尽管我不知道插入代码有多么容易。

Answer 3

我只是使用Podam http://mtedone.github.io/podam/生成POJO，然后使用Java Avro库https://avro.apache.org/docs/1.8.1/gettingstartedjava.html#Serializing

将它们输出到Avro。