Spark结构化流媒体是否维护Kafka消息的顺序?

时间:2019-06-11 08:35:52

标签: apache-spark apache-kafka spark-structured-streaming

我有一个Spark结构化流应用程序,该应用程序使用来自多个Kafka主题的消息,并将结果写入另一个Kafka主题。为了保持数据的完整性,必须保持源分区中消息的顺序。因此,如果消息A在分区中的消息B之前,则processed(A)应该在processed(B)之前写入输出主题(处理过的A和B也将进入相同的分区使用相同的哈希字符串)。

Spark结构化流可以保证吗?

0 个答案:

没有答案