Spark Streaming并行处理不同的DStream，并线性处理一个DStream中的作业

Question

我有一个需要从Kafka队列使用的应用程序，维护每个主题的批处理顺序。我为每个主题创建了不同的DStream。但是，当我运行它时，每个主题都是按顺序使用的。如果我将“ spark.streaming.concurrentJob = 4”设置为（n> 1），则主题将被并行使用，但在同一主题批中也将并行处理。 （我需要避免） 有没有一种方法可以并行处理不同的DStream，并线性处理一个DStream中的作业。

Answer 1

代替创建多个作业，我将源运算符的并行性设置为主题分区的数量。有关更多信息，请参阅此link