标签: apache-spark apache-kafka spark-structured-streaming
我有一个Spark结构化流应用程序,该应用程序使用来自多个Kafka主题的消息,并将结果写入另一个Kafka主题。为了保持数据的完整性,必须保持源分区中消息的顺序。因此,如果消息A在分区中的消息B之前,则processed(A)应该在processed(B)之前写入输出主题(处理过的A和B也将进入相同的分区使用相同的哈希字符串)。
A
B
processed(A)
processed(B)
Spark结构化流可以保证吗?