Sparklyr将数据库表读取到分布式DF

时间:2017-11-30 21:25:39

标签: r apache-spark amazon-emr sparkr sparklyr

您好我想弄清楚是否有办法直接将数据库表读取到sparkR数据帧。我在一个EMR集群上安装了rstudio,它上面有我的hive Metastore。

我知道我可以做到以下几点:

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query) 
result_t <- copy_to(sc,result)

但有没有办法直接查询到result_t?

1 个答案:

答案 0 :(得分:2)

像@kevinykuo建议,

result_t <- tbl(sc, "schema.table")