如何在RStudio中限制Spark的执行器内核?

时间:2015-09-04 04:33:42

标签: apache-spark rstudio sparkr

我知道如果我使用sparkR命令shell,我可以将它限制为一个执行器核心,如下所示:

bin/sparkR --total-executor-cores 1

在RStudio中,我可以像这样成功连接到我的群集:

sc <- sparkR.init(master="spark://<master url>")

我想我可以在那里传递一些魔术参数来设置核心数量,但我不确定如何。 https://spark.apache.org/docs/latest/api/R/sparkR.init.html并没有多大帮助,但它让我达到了这一点:

sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(total.executor.cores="1"))

和/或

sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(), list(total.executor.cores="1"))

这些成功连接但不限制核心。不确定我是否有错误的魔法属性名称?

0 个答案:

没有答案