我已将Spark发行版中的SparkR软件包安装到R库中。我可以调用以下命令,它似乎正常工作:library(SparkR)
但是,当我尝试使用以下代码获取Spark上下文时,
sc <- sparkR.init(master="local")
一段时间后,它失败并显示以下消息:
Error in sparkR.init(master = "local") :
JVM is not ready after 10 seconds
我已经设置了JAVA_HOME,我有一个工作的RStudio,我可以访问其他软件包,如ggplot2。我不知道为什么它不起作用,我甚至不知道在哪里调查这个问题。
答案 0 :(得分:2)
我遇到了同样的问题,我的spark-submit.cmd
文件也没有从命令行执行。以下步骤为我工作
转到您的环境变量并在系统变量中选择变量名称PATH。与其他值一起添加由分号分隔的c:/Windows/System32/
。这使我的spark-submit.cmd从命令行运行,最终从Rstudio运行。
我已经意识到只有在未指定所有必需的路径值时才会出现上述问题。确保在环境变量中指定所有路径值(R,Rtools)。例如,我的Rtools路径为c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin
我希望这会有所帮助。
答案 1 :(得分:0)
尝试授予执行权限C:/sparkpath/bin/spark-submit.cmd。这对我有用。
答案 2 :(得分:0)
我收到了完全相同的错误消息。我的情况有点不同,就像之前我在RStudio中成功运行SparkR一样。但几天之后,它就不再起作用了。
通过观察Shivaram Venkataraman和Prakash Ponshankaarchinnusamy之间的转换,我意识到这可能与获得许可有关。
https://issues.apache.org/jira/browse/SPARK-8603
所以我做了,最终有效的是,我将spark tar.gz再次解压缩到我的C:/文件夹(之前保存在D:/ drive中)和SparkR WORKS !!!
答案 3 :(得分:0)
安装Hadoop后跟Spark。
spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path
.libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths()))
library(SparkR