我正在使用SparklyR连接到客户端中的外部Spark集群。我可以成功连接到群集,但是除了默认数据库(为空)之外,我看不到任何数据库。我在$HADOOP_CONF_DIR
下的客户端中拥有所有hadoop配置文件(即core-site.xml,yarn-site.xml,hive-site.xml),这是我的代码
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "yarn-client", app_name="test")
data <- tbl(sc, sql('SELECT * FROM db_name.table_name LIMIT 10'))
我还尝试使用以下命令列出数据库,并且仅显示default
。
src_databases(sc)
我是否还需要将配置文件放在其他任何位置? 缺少什么?