您好我想弄清楚是否有办法直接将数据库表读取到sparkR数据帧。我在一个EMR集群上安装了rstudio,它上面有我的hive Metastore。
我知道我可以做到以下几点:
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
library(DBI)
query <- "select * from schema.table"
result <- dbGetQuery(sc, query)
result_t <- copy_to(sc,result)
但有没有办法直接查询到result_t?
答案 0 :(得分:2)
像@kevinykuo建议,
result_t <- tbl(sc, "schema.table")