来自spark使用:
DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")
表格已保存我可以看到使用下面命令的hadoop fs -ls /apps/hive/warehouse\test.db'
其中test
是我的数据库名称
drwxr-xr-x - psudhir hdfs 0 2016-01-04 05:02 /apps/hive/warehouse/test.db/myTableName
但是当我尝试检查Hive中的表时,我无法使用hiveContext中的命令SHOW TABLES
来查看它们。
答案 0 :(得分:1)
sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/
这在Cloudera快速入门Virtual Box中对我有用。
答案 1 :(得分:0)
您必须将 hive-site.xml 文件(我的位于/etc/hive/conf.dist/hive-site.xml)复制到Spark conf文件夹(我的位于的/ etc /火花/ CONF /)
sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/
重新启动Spark,它应该可以正常工作。
答案 2 :(得分:-2)
我认为您需要在配置单元控制台中运行INVALIDATE METADATA;
来刷新数据库并查看新表。