Nifi和Avro：是否使用指定的Avro架构将数据和元数据转换为Avro文件？

Question

这与Apache Nifi有关。

我有一个固定的架构，需要使用。

AVSC文件（模式）（仅示例）：

{{ user.displayname }} woked for me.

该化学信息基本上有2个部分，即元数据中的一部分，而另一部分是实际数据。

我有以csv格式创建的元数据，而在另一csv中创建了实际数据。

我可以使用

GetFile-> InferAvroSchema-> ConvertCSVtoAvro

流将它们分别转换为avro。

但这不会采用架构中定义的格式。

我正在寻找某种流程或处理器，可以在其中提供或使用2个不同的csv作为输入，并根据提供的模式转换为avro？

Answer 1

不确定我是否足够了解您的用例，但是您应该能够将LookupRecord与CSVRecordLookupService一起使用，以将数据从“实际数据” CSV转换为已包含元数据字段的记录。您只需要指定元数据中的哪个字段（通过RecordPath表达式）对应于数据CSV文件中的哪个字段即可。