Hive表是从spark创建的,但在hive中不可见

时间:2016-01-04 12:56:41

标签: apache-spark hive hiveql hivecontext

来自spark使用:

DataFrame.write().mode(SaveMode.Ignore).format("orc").saveAsTable("myTableName")

表格已保存我可以看到使用下面命令的hadoop fs -ls /apps/hive/warehouse\test.db'其中test是我的数据库名称

  

drwxr-xr-x - psudhir hdfs 0 2016-01-04 05:02   /apps/hive/warehouse/test.db/myTableName

但是当我尝试检查Hive中的表时,我无法使用hiveContext中的命令SHOW TABLES来查看它们。

3 个答案:

答案 0 :(得分:1)

sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

这在Cloudera快速入门Virtual Box中对我有用。

答案 1 :(得分:0)

您必须将 hive-site.xml 文件(我的位于/etc/hive/conf.dist/hive-site.xml)复制到Spark conf文件夹(我的位于的/ etc /火花/ CONF /)

sudo cp /etc/hive/conf.dist/hive-site.xml /etc/spark/conf/

重新启动Spark,它应该可以正常工作。

答案 2 :(得分:-2)

我认为您需要在配置单元控制台中运行INVALIDATE METADATA;来刷新数据库并查看新表。