如何在Nifi中查看Kafka消费的消息？

Question

我已经启动了一个Nifi流程（Consume Kafka）并将其连接到一个主题。它正在运行，但我无法（不知道）在哪里可以查看消息？

Answer 1

ConsumeKafka处理器为每条消息运行并生成流文件。只有将处理器连接到其他组件（如其他处理器或输出端口）时，才能显示正在移动的数据。

对于初学者，你可以试试这个：

• 将ConsumeKafka与LogAttribute或任何其他处理器相关联 那件事。
• 停止或停用LogAttribute处理器。
• 现在 你从ConsumeKafka开始，收到所有收到的消息 已配置的Kafka主题将以流文件的形式排队。
• 右键单击流文件排队的关系 单击List Queue，即可访问队列。
• 点击任意项目 队列，上下文菜单会出现。然后点击View按钮 可以看到数据。

＆＃34;观看＆＃34; Kafka消息只是为了帮助您进行调试并开始使用NiFi。理想情况下，您将使用其他NiFi处理器来计算您的用例。

示例

您收到来自Kafka的消息并希望将其写入MongoDB，因此您可以将流程视为： 注意： 有基于记录的处理器，如ConsumeKafkaRecord和PutMongoRecord，但它们基本上做了同样的事情，有更多的增强功能。既然你是新手，我建议一个简单的流程。您可以找到有关基于Record的处理器here的详细信息并尝试使用。

Answer 2

如果之前已消耗了这些消息（因此已提交了偏移量），则可能需要使用消息--from-beginning。

在GetKafka处理器上，有一个属性自动偏移重置，应将其设置为最小，这相当于Kafka Console Consumer中的--from-beginning。