RStudio中sparkR.init(master =" local")中的SparkR错误

时间:2015-07-09 15:37:43

标签: apache-spark rstudio sparkr

我已将Spark发行版中的SparkR软件包安装到R库中。我可以调用以下命令,它似乎正常工作:library(SparkR)

但是,当我尝试使用以下代码获取Spark上下文时,

sc <- sparkR.init(master="local")

一段时间后,它失败并显示以下消息:

Error in sparkR.init(master = "local") :
   JVM is not ready after 10 seconds

我已经设置了JAVA_HOME,我有一个工作的RStudio,我可以访问其他软件包,如ggplot2。我不知道为什么它不起作用,我甚至不知道在哪里调查这个问题。

4 个答案:

答案 0 :(得分:2)

我遇到了同样的问题,我的spark-submit.cmd文件也没有从命令行执行。以下步骤为我工作

转到您的环境变量并在系统变量中选择变量名称PATH。与其他值一起添加由分号分隔的c:/Windows/System32/。这使我的spark-submit.cmd从命令行运行,最终从Rstudio运行。

我已经意识到只有在未指定所有必需的路径值时才会出现上述问题。确保在环境变量中指定所有路径值(R,Rtools)。例如,我的Rtools路径为c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

我希望这会有所帮助。

答案 1 :(得分:0)

尝试授予执行权限C:/sparkpath/bin/spark-submit.cmd。这对我有用。

答案 2 :(得分:0)

我收到了完全相同的错误消息。我的情况有点不同,就像之前我在RStudio中成功运行SparkR一样。但几天之后,它就不再起作用了。

通过观察Shivaram Venkataraman和Prakash Ponshankaarchinnusamy之间的转换,我意识到这可能与获得许可有关。

https://issues.apache.org/jira/browse/SPARK-8603

所以我做了,最终有效的是,我将spark tar.gz再次解压缩到我的C:/文件夹(之前保存在D:/ drive中)和SparkR WORKS !!!

screenshot of working RStudio

答案 3 :(得分:0)

安装Hadoop后跟Spark。

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR