sparklyR无法看到任何配置单元数据库

时间:2019-12-18 15:18:01

标签: apache-spark sparkr sparklyr

我正在使用SparklyR连接到客户端中的外部Spark集群。我可以成功连接到群集,但是除了默认数据库(为空)之外,我看不到任何数据库。我在$HADOOP_CONF_DIR下的客户端中拥有所有hadoop配置文件(即core-site.xml,yarn-site.xml,hive-site.xml),这是我的代码

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "yarn-client", app_name="test")
data <- tbl(sc, sql('SELECT * FROM db_name.table_name LIMIT 10'))

我还尝试使用以下命令列出数据库,并且仅显示default

src_databases(sc)

我是否还需要将配置文件放在其他任何位置? 缺少什么?

0 个答案:

没有答案