Question

我目前正在使用sparkR测试一个应用程序。这是我的平台＆amp;申请详情：

平台：Windows server 2008 SparkR版本：R版本3.1.2 （2014-10-31）Spark Verion：版本1.4.1

我做了什么？

第一步：将软件包加载到R环境

library（SparkR） - 工作

第二步：设置系统环境变量

Sys.setenv（SPARK_HOME =＆＃34; C：\ hdp \ spark-1.4.1-bin-hadoop2.6＆＃34;） - 工作.libPaths（c（file.path（Sys.getenv（＆＃34; SPARK_HOME＆＃34;），＆＃34; R＆＃34;，＆＃34; LIB＆＃34;）,. libPaths（）））

第三步：创建一个Spark上下文和一个SQL上下文

sc＆lt; - sparkR.init（master =＆＃34; local＆＃34;，sparkHome = ＆＃34; C：\ hdp \ spark-1.4.1-bin-hadoop2.6＆＃34;，appName =＆＃34; TestSparR＆＃34;）

在此行获取错误，即 JVM在10秒后未就绪

请帮我解决这个问题。感谢。

Answer 1

我遇到了同样的问题，我可以告诉你我尝试了很多东西。

但最后以下内容对我有用，重新启动计算机后（顺便提一下R和RStudio）：

SPARK_HOME <- "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\"
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
library(SparkR, lib.loc = "C:\\Apache\\spark-1.5.2-bin-hadoop2.6\\R\\lib")

library(SparkR)
library(rJava)

sc <- sparkR.init(master = "local", sparkHome = SPARK_HOME)

也许这可以提供帮助：重新启动系统后，这包含在我的环境变量PATH中：

<强> C：\ ProgramData \甲骨文\爪哇\ javapath

初始化sparkR时出错：10秒后JVM没有准备好

1 个答案: