Question

我的远程centos节点中有Spark群集，我想从我本地的Windows R工作室连接远程Spark群集（我正在使用 Rstudio桌面在我的本地窗口中）

  if (nchar(Sys.getenv("SPARK_HOME")) < 1) {
  Sys.setenv(SPARK_HOME = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6")
  .libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
}
library(SparkR, lib.loc = "/home/remoteclusterpath/spark-1.6.0-bin-hadoop2.6/R/lib")

sc <- sparkR.init(master = "spark://<IP-Address>:7077", sparkEnvir = list(spark.driver.memory="2g"))

我收到以下错误

Error in library(SparkR) : there is no package called ‘SparkR’

请任何人提前向我提供解决方案

Answer 1

要在RStudio中使用SparkR，您需要安装SparkR包并加载它。使用这些命令

install.packages("SparkR")

library(SparkR)

Answer 2

要在RStudio中使用SparkR，您可以安装sparklyr将此命令放在RStudio控制台上：

intall.packages("sparklyr")

稍后，您可以使用以下命令加载此程序包：

library("sparklyr")

如何从本地Windows Rstudio

2 个答案: