如何将apache nifi集成/连接到Apache kafka？

Question

我想将数据从Apache nifi推送到kafka，然后再推送到HDFS进行存储。

是否可以将apache nifi与kafka连接...如何将apache nifi与kafka集成？

Answer 1

Nifi附带了几个Kafka处理器。

添加Kafka时，只需在搜索框中输入Kafka即可。使用与您的Kafka安装相匹配的版本。例如，绝对不要使用Kafka 0.10.x安装运行Kafka08版本处理器（称为GetKafka＆amp; PutKafka）

当然，您需要设置引导服务器，然后设置您关心的其他生产者属性，例如主题名称

将ConsumeKafka处理器附加到PutHdfs

Sidenote Kafka Connect HDFS使用纯粹基于Kafka的API方法从Kafka向Hadoop发送数据。除非您正在摄取其他类型的数据，否则您不需要Nifi

Answer 2

您可以使用PutKafka处理器将数据从Nifi推送到Kafka。在“添加处理器”对话框中，键入PutKafka以查找处理器。

对于HDFS，可以使用PutHDFS处理器。您需要core-site.xml和hdfs-site.xml文件才能使用PutHDFS处理器。您可以从Ambari内的HDFS菜单下载HDFS配置文件。在HDFS菜单中，单击“操作”，然后选择“下载客户端配置”。您应该用逗号分隔写文件位置。