Question

经过漫长而艰难的SparkR安装过程后，我遇到了启动SparkR的新问题。

我的设置

R 3.2.0    
RStudio 0.98.1103    
Rtools 3.3    
Spark 1.4.0
Java Version 8
SparkR 1.4.0
Windows 7 SP 1  64 Bit

现在我尝试在R中使用以下代码：

library(devtools)
library(SparkR)
Sys.setenv(SPARK_MEM="1g")
Sys.setenv(SPARK_HOME="C:/spark-1.4.0")
sc <- sparkR.init(master="local")

我收到了以下信息：

JVM is not ready after 10 seconds

我还试图添加一些系统变量，如spark path或java path。

您对我有什么建议来解决这些问题。

测试本地主机后，我的下一步是在我正在运行的hadoop集群上开始测试。

Answer 1

我认为这是一个现在已经解决的错误。请尝试以下方法，

Sys.setenv(SPARK_HOME="C:\\spark-1.4.0")

.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))

library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment.

library(SparkR)

sc=sparkR.init(master="local")

使用spark-submit命令C:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell

启动java

C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6

希望这会有所帮助。

Answer 2

我遇到了同样的问题，我的spark-submit.cmd文件也没有从命令行执行。以下步骤为我工作

转到您的环境变量并在系统变量中选择变量名称PATH。与其他值一起添加由分号分隔的c:/Windows/System32/。这使我的spark-submit.cmd从命令行运行，最终从Rstudio运行。

我已经意识到只有在未指定所有必需的路径值时才会出现上述问题。确保在环境变量中指定所有路径值（R，Rtools）。例如，我的Rtools路径为c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

我希望这会有所帮助。

Answer 3

这对我不起作用。如果有人遇到同样的问题，请尝试向c：/sparkpath/bin/spark-submit.cmd授予执行权限。

Answer 4

我有完全相同的问题。我可以在命令行中启动SparkR，但不能在Windows中的RStudio中启动。这里的解决方案对我有用。

清理您尝试解决此问题时设置的所有路径。这包括您从窗口控制面板在Windows环境中设置的路径，并使用Sys.unsetenv（）取消设置SPARK_HOME。
使用RStudio中的getwd（）查找您的RStudio默认工作目录。然后在此目录中创建.Rprofile文件。将以下行放在此文件中： .libPaths（ “C：/Apache/Spark-1.5.1/R/lib”）
在窗口控制面板中 - ＆gt;系统 - ＆gt;高级系统设置 - ＆gt;环境变量，在您现有的PATH末尾添加“; C：\ Apache \ Spark-1.5.1 \ bin”变量
启动RStudio，如果键入.libPaths（），则可以看到SparkR库路径已经在库路径中
使用库（SparkR）加载SparkR库
SC = sparkR.init（主= “本地”）

我在Spark 1.4.1和1.5.1上都试过这个，它们都运行良好。我希望这可以帮助那些在上述所有建议之后仍有问题的人。

Answer 5

我有类似的问题。在我的情况下，问题是连字符（' - '）通过更改代码：

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11-1.4.0"))

为：

sc <- sparkR.init(master = "local[*]",sparkPackages = c("com.databricks:spark-csv_2.11:1.4.0"))

为我工作。你注意到了这个变化吗？

P.S。：复制你的SPARK_HOME \ lib文件夹中的jar

编辑1：另外，检查您是否配置了“HADOOP_HOME”

希望这会有所帮助。

Answer 6

以下解决方案适用于Mac OS。

安装Hadoop后跟Spark。

ind

Answer 7

我也有这个错误，来自不同的原因。在引擎盖下，Spark调用

system2(sparkSubmitBin, combinedArgs, wait = F)

有很多方法可能会出错。在我的情况下，潜在的错误（在直接作为实验调用system2之前不可见）是＆＃34;＆＃34;不支持UNC路径。＆＃34;我不得不将R studio中的工作目录更改为不属于网络共享的目录，然后开始工作。

无法在RStudio

7 个答案: