设置Spark Streaming应用程序的执行程序数

Question

我在Yarn集群模式下运行我的Spark Streaming应用程序。我想将执行程序的数量限制为只有一个节点？如何在Spark中执行此操作？

Answer 1

您可以通过两种方式控制执行程序的数量：

Option 1: 直接使用Spark Submit Command：

spark-submit -class ClassName --num-executors 1 .... other parameters

Option 2: 使用Spark Submit命令在Conf标志内：

spark-submit --class ClassName --conf "spark.executor.instances=1" .... other parameters.

您可以从Submitting Applications获取有关相同内容的详细信息。