通过两个独立的应用程序（风暴和火花流）来消费Kafka消息

Question

我们开发了一个使用Storm的摄取应用程序，它使用Kafka消息（有时是系列传感器数据）并将这些消息保存到Cassandra中。我们使用Nifi工作流程来完成此任务。

我现在要开发一个单独的Spark Streaming应用程序，它需要将这些Kafka消息作为源使用。我想知道为什么两个应用程序与一个Kafka Chanel交互时会出现问题？我应该将Nifi中的Kafka消息复制到另一个Chanel，以便我的Spark Streaming应用程序使用它们，这是一个开销。

Answer 1

来自Kafka documentation：

  

如果所有消费者实例都有不同的消费者群体，那么每条记录都将广播给所有消费者流程。

在您的情况下，您的第二个应用程序只需要使用另一个使用者组，这样这两个应用程序将获得相同的消息。