Question

我可以从SparkR连接到MongoDB（我使用的是R Studio，Spark 2.x.x，Mongo连接器v2.0），如https://docs.mongodb.com/spark-connector/current/r-api/所述。我想用SparklyR做同样的事情，这有可能吗？找不到任何例子。

Answer 1

我也尝试使用sparklyr从mongo加载。我还没有找到解决方案，但这是我到目前为止所尝试的（我的数据库是＆＃34; nasa＆＃34;收集的是＆＃34; eva＆＃34;）：

library(sparklyr)
spark_home <- "/home/my_user_name/Workspaces/Mongo/spark-2.0.1-bin-hadoop2.7/"
Sys.setenv(SPARK_HOME=spark_home)
config <- sparklyr::spark_config()
config$sparklyr.defaultPackages <- c("org.mongodb.spark:mongo-spark-connector_2.10:1.1.0")
config$spark.mongodb.input.uri <- "mongodb://localhost:27017/nasa.eva"
config$spark.mongodb.output.uri <- "mongodb://localhost:27017/nasa.eva"

Spark.connection <<- sparklyr::spark_connect(master = "local", version = "2.0.1", config = config)

Spark.session <<- sparklyr::invoke_static(Spark.connection, "org.apache.spark.sql.SparkSession", "builder") %>% sparklyr::invoke("config", "spark.cassandra.connection.host", "localhost") %>% sparklyr::invoke("getOrCreate")

uri <- "mongodb://localhost/nasa.eva"
load <- invoke(Spark.session, "read") %>% invoke("format", "com.mongodb.spark.sql.DefaultSource") %>% invoke("option", "spark.mongodb.input.uri", uri) %>% invoke("option", "keyspace", "nasa") %>% invoke("option", "table", "eva") %>% invoke("load")

tbl <- sparklyr:::spark_partition_register_df(Spark.connection, load, "mongo_tbl", 0, TRUE)

它还没有用，但也许可以给你一些想法。我希望它有所帮助

Answer 2

最后似乎有可能但是通过安装sparklyr的开发版本有一种更简单的方法：

devtools::install_github("rstudio/sparklyr")

接下来是：

config <- spark_config()
config$sparklyr.defaultPackages <- c("org.mongodb.spark:mongo-spark-connector_2.10:1.1.0")
sc <- spark_connect(master = "local", config = config)
uri <- "mongodb://localhost/nasa.eva"
spark_read_source(
      sc,
      "spark-table-name",
      "com.mongodb.spark.sql.DefaultSource",
      list(
        spark.mongodb.input.uri = uri,
        keyspace = "nasa",
        table = "eva"),
      memory = FALSE)

“nasa”和“eva”分别是mongo数据库和mongo集合。您可以在sparklyr github论坛上找到更多信息here。我希望这有帮助！

是否可以从SparklyR连接到mongodb

2 个答案: