在cloudera 5.14中安装SparkR

时间:2018-09-24 08:48:20

标签: r apache-spark hadoop sparkr

我正在尝试在cloudera 5.14版本中的R中安装SparkR软件包。我将JAVA_HOME和SPARK_HOME设置如下:

<!doctype html>
<html>
  <head>
    <meta charset="utf-8">
  </head>
  
  <body>
    <canvas id="canvas"></canvas>
  </body>
</html>

运行此程序以加载程序包时,没有错误,并且安装正确。

Sys.setenv("JAVA_HOME"="/usr/java/jdk1.8.0_172")
Sys.setenv("SPARK_HOME"="/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/spark")

但是在启动http://spark.apache.org/docs/latest/sparkr.html#starting-up-from-rstudio指定的Spark会话时

require(SparkR)
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))

我遇到以下错误:

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g"))

找不到任何出现此错误的地方。请帮忙。

0 个答案:

没有答案