Question

我很高兴轻松安装sparklyr。

spark_install(version = "2.1.0", hadoop_version = "2.7")

安装完成。

但是在安装后我想连接spark我收到以下错误信息。文件夹C：/ spark不存在，因为RStudio在我的用户下安装了spark的订单。

 > sc <- spark_connect(master = "local")

创建默认的hadoop bin目录：C：\ spark \ tmp \ hadoop错误   在spark_version_from_home（spark_home，default = spark_version）中：
  无法检测SPARK_HOME或SPARK_HOME_VERSION的版本。尝试   明确地传递spark版本。另外：警告信息：   1：在dir.create中（hivePath，recursive = TRUE）：无法创建dir   ＆＃39; C：\ spark＆＃39;，原因＆＃39;权限被拒绝＆＃39; 2：在dir.create中（hadoopBinPath，   recursive = TRUE）：无法创建目录＆＃39; C：\ spark＆＃39;，原因＆＃39;权限   否认＆＃39; 3：在file.create中（到[okay]）：无法创建文件   ＆＃39; C：\ spark \ tmp \ hadoop \ bin \ winutils.exe＆＃39;，原因＆＃39;没有此类文件或   目录＆＃39; 4：运行命令＆＃34;＆＃34; C：\ spark \ tmp \ hadoop \ bin \ winutils.exe＆＃34;   chmod 777＆＃34; C：\ spark \ tmp \ hive＆＃34;＆＃39;状态为127   ＆GT;

有人知道解决方案吗？

编辑：

我已将文件夹复制到C：/ spark，现在可以正常工作了。但是我收到以下错误消息：

创建默认的hadoop bin目录：C：\ spark \ tmp \ hadoop错误在start_shell中（master = master，spark_home = spark_home，spark_version = version，：sparklyr目前不支持Spark版本：2.1.0

但是这个版本是下面的：spark_available_versions（）

哪个版本是我可以安装的最新版本？

Answer 1

我已安装此版本，一切正常：

`spark_install(version = "2.0.0", hadoop_version = "2.6")

Answer 2

您的环境中已经设置了SPARK_HOME，sparklyr正在尝试使用该sparklyr，而不是您使用Sys.unsetenv("SPARK_HOME")安装的版本。在连接master="local"之前，我会尝试运行(OPEN date CLOSE)。

sparklyr - 安装后出错

2 个答案: