Spark 2.2.0的SPARK_WORKER_INSTANCES

Question

在Spark 2.2.0中，我没有看到SPARK_WORKER_INSTANCES选项为每个节点启动多个worker。我该怎么做？

Answer 1

如果查看spark-env.sh文件夹的conf目录中的spark文件，您会看到一个选项SPARK_WORKER_INSTANCES=1。您可以将其更改为您想要的数字。

因此，当使用sbin/start-all.sh启动spark时，应该在该计算机上启动定义的工作节点数。

Answer 2

根据Spark documentation：

  

要使用启动脚本启动Spark独立群集，您应该在Spark目录中创建一个名为conf / slaves的文件，该文件必须包含要启动Spark工作的所有计算机的主机名，每行一个。如果conf / slaves不存在，则启动脚本默认为单个机器（localhost），这对测试很有用