Spark Streaming如何处理多个主题

Question

Spark如何在一个Dstream处理多个Kafka主题？

1.连续一次。

2.同时（每个遗嘱执行人的主题分区）。

Answer 1

在DirectStream方法中并行处理kafka数据。即每个执行程序核心将从相应的kafka主题和分区中提取数据。

假设您有2个主题，每个主题有3个分区。你有3个执行器，每个执行器有2个核心。

如果您正在阅读这2个主题，那么spark将启动1个作业，包含6个任务（= 6个核心），每个任务从相应的主题+分区中提取数据。所有这些任务并行运行。

希望这有帮助！