标签： apache-spark apache-kafka kafka-consumer-api
我最近开始使用spark，不得不处理一个需要在spark中使用Kafka主题的多个分区的情况。如何启动多个消费者？我是否需要使用相同的组ID运行同一应用程序的多个实例？还是在启动应用程序时可以使用任何配置，并且该配置在内部完成？
答案 0 :(得分：1)
传递--num-executors并为每个执行程序使用多个内核将在Spark中产生多个消费者线程
--num-executors
每个使用者线程都被映射到单个分区。
使线程总数等于分区总数，以最大化分布式吞吐量