标签: apache-spark apache-kafka spark-streaming referential-integrity
到现在为止,我们有了一个批处理应用程序,在此我们要求消息源根据其称为“触发”的输入信号通知我们何时启动我们的应用程序。因此,一旦收到数据,我们的应用程序就开始考虑通过将其视为一个批次来使用数据。
但是现在我们希望在我们的应用程序中处理此问题,而不依赖于Source输入触发消息。在新的Spark流媒体应用程序中,我们要使用和处理相同的Kafka主题。