在Sparklyr教程中无法正常工作,特别是我继续收到错误“ file(con,“ r”):无法打开连接...“

时间:2019-05-03 00:21:08

标签: sparklyr

我是Sparklyr的新手,并且想练习在“本地”模式下使用命令。我一直通过以下链接关注这些教程:

https://spark.rstudio.com/guides/connections/

这是我要遵循的基本代码:

sc <- spark_connect(master = "local")

然后我执行下面的命令:

iris_tbl <- copy_to(sc, iris, "iris", overwrite = TRUE)

和:

iris_tbl %>%
  select(Petal_Width, Petal_Length) %>%
  ml_linear_regression(Petal_Length ~ Petal_Width)

然后我尝试运行以下行,该行不起作用:

iris_tbl%>%
  spark_apply(nrow,group_by = "Species")

我收到以下错误:

Error in file(con, "r") : cannot open the connection
In addition: Warning message:
In file(con, "r") :
  cannot open file 'C:\Users\********\AppData\Local\Temp\RtmpkNWpfo\file161471765ce6_spark.log': Permission denied

我在文件夹中看到日志文件。

这是工作的图片:

enter image description here 当我尝试这种配置时,我也会遇到相同的错误:

conf <- spark_config()

conf$spark.executor.memory <- "300M"
conf$spark.executor.cores <- 2
conf$spark.executor.instances <- 3
conf$spark.dynamicAllocation.enabled <- "false"

sc <- spark_connect(master = "local", 
                    spark_home = "C:\\Users\\*******\\AppData\\Local\\spark\\spark-2.4.0-bin-hadoop2.7",
                    version = "2.4.0",
                    config = conf)

我将不胜感激。谢谢。

0 个答案:

没有答案