如何确保Spark结构化流应用程序中的引用完整性?

时间:2018-12-28 00:02:37

标签: apache-spark apache-kafka spark-streaming referential-integrity

到现在为止,我们有了一个批处理应用程序,在此我们要求消息源根据其称为“触发”的输入信号通知我们何时启动我们的应用程序。因此,一旦收到数据,我们的应用程序就开始考虑通过将其视为一个批次来使用数据。

但是现在我们希望在我们的应用程序中处理此问题,而不依赖于Source输入触发消息。在新的Spark流媒体应用程序中,我们要使用和处理相同的Kafka主题。

0 个答案:

没有答案