Apache NiFi:验证ConsumeKafka创建的FlowFile数据

时间:2017-11-29 21:06:02

标签: apache-kafka apache-nifi

我对NiFi很新。我们已经完成了设置,我们可以使用Kafka消息。 在NiFi用户界面中,我使用ConsumeKafka_0_10创建了处理器。当消息发布(不同的过程)时,我的处理器能够正确地获取所需的数据/消息。 我去了#34; Data来源"并且可以看到收到了正确的数据。

但是,我希望将下一个进程作为一些验证器。这将从consumekafka读取流文件并进行基本验证(用户提供的脚本应该是好的)

我们这个或哪个处理器在这里工作?

还有什么方法可以将flowfile输入格式转换为csv或json格式吗?

1 个答案:

答案 0 :(得分:1)

您有几个选择。根据flowfile内容格式,您可以使用ValidateRecord配置*Reader记录阅读器控制器服务来验证它。如果您已经有一个脚本在Groovy / Javascript / Ruby / Python中执行此操作,ExecuteScript也是一个解决方案。

同样,要将流文件内容转换为CSV或JSON,请使用ConvertRecord处理器,ScriptedReaderCSVRecordSetWriterJsonRecordSetWriter输出正确的格式。这些进程在内部使用Apache NiFi记录结构,以高性能从任意输入/输出格式进行转换。有关详细信息,请访问blogs.apache.org/nifibryanbende.com