我能够连接到Sparklyr。但是我想配置(本地)以使用所有内核和内存。
library(sparklyr)
spark_install(version = "2.1.0")
sc <- spark_connect(master = "local", config = list())
我想使用8核和12G(我有4核和16G)。我尝试了以下代码:
config <- spark_config()
config$spark.executor.cores = 4
config$spark.executor.memory = "12G"
但是它什么也没做。我看起来像在工作,但是20分钟后我停止了代码。
有没有办法选择4核和12G内存?
谢谢您的时间
Julen