使用Sparklyr连接到Spark会产生权限拒绝错误

Question

安装sparklyr软件包后，我按照这里的说明（http://spark.rstudio.com/）连接到spark。但是面对这个错误。难道我做错了什么。请帮帮我。

 sc = spark_connect( master = 'local' )

  

文件错误（con，“r”）：无法打开连接       另外：警告信息：       在文件中（con，“r”）：         无法打开文件'C：\ Users \ USER \ AppData \ Local \ Temp \ RtmpYb3dq4 \ fileff47b3411ae_spark.log'：   许可被拒绝

但我可以在指定位置找到该文件。在开幕式上，我发现它是空的。我

Answer 1

首先，你是从github devtools::install_github("rstudio/sparklyr")还是CRAN安装sparklyr的？ 不久前在Windows安装中出现了一些问题。

您遇到的问题似乎与Windows上的TEMP和TMP文件夹级别权限或文件创建权限有关。每次启动sc <- spark_connect()时，它都会尝试创建一个文件夹和文件来写入日志文件。 确保您拥有对这些位置的写入权限。

Answer 2

我可以在版本2.4.3和2.4.4中观察到相同的错误消息 在不同情况下：

当尝试使用spark_connect(master="spark://192.168.0.12:7077", ..)连接到非“本地”主服务器时，

• 如果主服务器未启动或未在指定的主服务器URL上响应。
• 设置特定的不完整配置时
  • 在我的情况下，尝试将dynamicAllocation设置为true，而没有其他必需的dynamicAllocation设置：

conf <- spark_config() conf$spark.dynamicAllocation.enabled <- "true"