我对NiFi很新。我们已经完成了设置,我们可以使用Kafka消息。 在NiFi用户界面中,我使用ConsumeKafka_0_10创建了处理器。当消息发布(不同的过程)时,我的处理器能够正确地获取所需的数据/消息。 我去了#34; Data来源"并且可以看到收到了正确的数据。
但是,我希望将下一个进程作为一些验证器。这将从consumekafka读取流文件并进行基本验证(用户提供的脚本应该是好的)
我们这个或哪个处理器在这里工作?
还有什么方法可以将flowfile输入格式转换为csv或json格式吗?
答案 0 :(得分:1)
您有几个选择。根据flowfile内容格式,您可以使用ValidateRecord
配置*Reader
记录阅读器控制器服务来验证它。如果您已经有一个脚本在Groovy / Javascript / Ruby / Python中执行此操作,ExecuteScript
也是一个解决方案。
同样,要将流文件内容转换为CSV或JSON,请使用ConvertRecord
处理器,ScriptedReader
和CSVRecordSetWriter
或JsonRecordSetWriter
输出正确的格式。这些进程在内部使用Apache NiFi记录结构,以高性能从任意输入/输出格式进行转换。有关详细信息,请访问blogs.apache.org/nifi和bryanbende.com。