Question

我正在使用SparkR。

我可以使用这样的命令在YARN上设置具有所需数量的executors和executor-cores的Spark Context：

spark/bin/sparkR --master yarn-client --num-executors 5 --executor-cores 5

现在我正在尝试初始化一个新的Spark上下文，但是从RStudio开始，这比常规命令行更适合使用。

我想到要做到这一点，我需要使用sparkR.init()功能。有一个选项master，我设置为yarn-client，但如何指定num-executors或executor-cores？这是我堆积的地方

library(SparkR, lib.loc = "spark-1.5.0-bin-hadoop2.4/R/lib")

sc <- sparkR.init(sparkHome = "spark-1.5.0-bin-hadoop2.4/",
                  master = "yarn-client")

Answer 1

为sparkEnvir提供sparkR.init参数应该有效：

sparkEnvir <- list(spark.num.executors='5', spark.executor.cores='5')

sc <- sparkR.init(
    sparkHome = "spark-1.5.0-bin-hadoop2.4/", 
    master = "yarn-client",
    sparkEnvir = sparkEnvir)

如何从RStudio在YARN上初始化新的Spark上下文和执行程序编号

1 个答案: