更改Spark Shell的Executor Memory（和其他配置）

Question

如何更改Apache Spark Shell的执行程序内存（和其他配置）？

特别是当我启动它时，我想给spark-shell提供平板，比如-Dspark-cores-max = 12，以便我在spark shell中的作业将使用这些配置设置。

Answer 1

从spark 1.2.0开始，您可以通过向spark-shell提供以下参数来设置memory和cores。

spark-shell --driver-memory 10G --executor-memory 15G --executor-cores 8

查看其他选项，您可以给出以下命令来激活shell

spark-shell --help

Answer 2

已弃用使用接受的答案

写一个这样的脚本：

#!/bin/bash
export SPARK_JAVA_OPTS="$*"
MASTER=spark://ec2-99-99-99-99:7077 /usr/share/spark/bin/spark-shell

/usr/share/spark/bin/spark-shell应该是long spark-shell启动脚本所在的路径。在我的群集上，/ usr / local / bin /中有另一个脚本，但是这个脚本只是几行，类似于上面的，并且SPARK_JAVA_OPTS已经硬编码。

无论如何，使用示例：

my-spark-starter-script -Dspark-cores-max=12 -Dspark.executor.memory=26000m

Answer 3

如果您在独立模式（1节点）上安装的spark上运行spark-shell，请使用

./bin/spark-shell --driver-memory 4g

如果您正在群集（2个以上节点）上安装的spark上运行spark-shell，请使用

./bin/spark-shell --executor-memory 4g

4g是4GB。