Hive无法通过在Spark中调用saveAsTable来查询表

时间:2015-09-17 15:08:17

标签: hadoop hiveql apache-spark-sql

我试图使用Hive来查询我使用Spark DataFrame提供的saveAsTable()保存的表。当我使用hiveContext.sql()查询时,一切正常。但是,当我切换到hive并描述表时,它变成了col,array,就像这样,并且不再可查询。

任何想法如何通过?有没有一种可靠的方法可以让Hive理解spark中定义的元数据而不是显式定义模式?

有时候我会利用spark从原始数据中推断出架构,或者从某些文件格式中读取架构,例如镶木地板,所以不想创建可以自动推断的表格。

非常感谢任何建议!

0 个答案:

没有答案