如何在YARN中为每个节点设置几个Apache Spark执行程序？

Question

我想知道如何在YARN中为每个节点设置几个Apache Spark执行程序。我是否需要在yarn-site.xml中以某种方式指定它？

Answer 1

当spark运行时，它的行为与任何其他YARN应用程序一样，因此它向Yarn请求资源，因此对于初学者，您需要设置Yarn，以便它能够容纳您的执行者（Hortonworks has some nice guidelines here）。

然后，您可以在提交作业时设置所需数量的执行者及其记忆，如Spark's documentation中显示的示例

$ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    lib/spark-examples*.jar \