NiFi：从Kafka消费时过滤主题

Question

kafka中有一个批次主题（Json内容），必须通过NiFi(version 1.8)使用。 我可以使用consumekafkarecord处理器来使用该主题，但希望根据属性值进行过滤 因为我不需要该主题的所有记录。

使用kafka主题even before getting the records into NiFi时可以完成过滤吗？最好使用哪种方法，例如使用Processors或Scripts？

我只想根据其中一个属性值过滤掉大量记录。

Answer 1

我不知道有什么方法可以过滤ConsumeKafkaRecord内部的记录，但是您可以在该处理器之后立即轻松地做到这一点。

一种选择是将其连接到QueryRecord处理器并编写一条SQL语句，以选择您感兴趣的记录。

第二种选择是使用PartitionRecord，它允许您基于记录路径表达式对记录进行分区。因此，您可以说在field1上进行了分区，如果有两个值，例如A和B，它将产生两个流文件，一个包含所有具有A的记录，一个包含所有具有B的记录，那么您只需路由一个感兴趣的文件进入，然后将另一个发送到死胡同。