我在独立模式下运行Spark。我使用以下命令来启动具有3个执行程序的Spark作业。
./spark/bin/spark-submit --driver-memory 4g --driver-cores 1 --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.0 --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.1.jar --num-executors 3 --executor-cores 1 SparkConsumer/testing.py
但是,当我通过端口4040转到Spark UI时,只有一个执行程序在4个内核上运行。
我使用Spark 2.4.0,Java 1.8.0,Scala 2.11.12。