我知道如果我使用sparkR命令shell,我可以将它限制为一个执行器核心,如下所示:
bin/sparkR --total-executor-cores 1
在RStudio中,我可以像这样成功连接到我的群集:
sc <- sparkR.init(master="spark://<master url>")
我想我可以在那里传递一些魔术参数来设置核心数量,但我不确定如何。 https://spark.apache.org/docs/latest/api/R/sparkR.init.html并没有多大帮助,但它让我达到了这一点:
sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(total.executor.cores="1"))
和/或
sc <- sparkR.init("spark://<master url", "RStudio", "/spark/dir", list(), list(total.executor.cores="1"))
这些成功连接但不限制核心。不确定我是否有错误的魔法属性名称?