我试图使用Hive来查询我使用Spark DataFrame提供的saveAsTable()保存的表。当我使用hiveContext.sql()查询时,一切正常。但是,当我切换到hive并描述表时,它变成了col,array,就像这样,并且不再可查询。
任何想法如何通过?有没有一种可靠的方法可以让Hive理解spark中定义的元数据而不是显式定义模式?
有时候我会利用spark从原始数据中推断出架构,或者从某些文件格式中读取架构,例如镶木地板,所以不想创建可以自动推断的表格。
非常感谢任何建议!