创建了多少个消费者来读取每个直接流的记录？

Question

我使用Spark Streaming从Kafka读取数据（使用Kafka direct stream API）。

为流实例化了多少Kafka消费者？卡夫卡消费者的数量是否等于遗嘱执行人的数量？每个执行者是否实例化一个Kafka消费者（具有相同的组ID）？

Answer 1

直接接近消费者数量will be exactly the same as the number of Kafka Partitions：

  

Kafka 0.10的Spark Streaming集成在设计上与0.8 Direct Stream方法类似。它提供简单的并行性，Kafka分区和Spark分区之间的1：1对应关系，以及对偏移和元数据的访问

和单独的消费者is initialized for each partition。