我是Sparklyr的新手,并且想练习在“本地”模式下使用命令。我一直通过以下链接关注这些教程:
https://spark.rstudio.com/guides/connections/
这是我要遵循的基本代码:
sc <- spark_connect(master = "local")
然后我执行下面的命令:
iris_tbl <- copy_to(sc, iris, "iris", overwrite = TRUE)
和:
iris_tbl %>%
select(Petal_Width, Petal_Length) %>%
ml_linear_regression(Petal_Length ~ Petal_Width)
然后我尝试运行以下行,该行不起作用:
iris_tbl%>%
spark_apply(nrow,group_by = "Species")
我收到以下错误:
Error in file(con, "r") : cannot open the connection
In addition: Warning message:
In file(con, "r") :
cannot open file 'C:\Users\********\AppData\Local\Temp\RtmpkNWpfo\file161471765ce6_spark.log': Permission denied
我在文件夹中看到日志文件。
这是工作的图片:
conf <- spark_config()
conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"
sc <- spark_connect(master = "local",
spark_home = "C:\\Users\\*******\\AppData\\Local\\spark\\spark-2.4.0-bin-hadoop2.7",
version = "2.4.0",
config = conf)
我将不胜感激。谢谢。