spark HiveContext / SQLContext如何检索模式/数据?

时间:2015-06-03 19:41:09

标签: apache-spark apache-spark-sql

我似乎找不到很多关于它的文档,但是当我从Spark SQL中从Hive中提取数据时,它是如何检索模式的,它是否会自动查看Hive Metastore?还有Hive告诉spark查看文件位置以将数据拉入DataFrame吗?它如何处理视图或者它不能处理视图呢?

1 个答案:

答案 0 :(得分:4)

  1. 是的,它会查找hive Metastore。
  2. Spark将hive查询委托给hive。它捕获输出并将其转换为行的数据帧。 来自docs:
  3.   

    使用Hive时,必须构建一个HiveContext   继承自SQLContext,并增加了对查找表的支持   MetaStore和使用HiveQL编写查询