无法从spark-sql查询基于HIVE Parquet的EXTERNAL表

时间:2017-10-27 00:06:05

标签: apache-spark apache-spark-sql mapr

我们有一个外部蜂巢表,存储为Parquet。我不是这个蜂巢拼花桌的架构的拥有者,所以没有太多的信息。

这里的问题是在尝试从spark-sql>查询该表时(Shell提示)不是通过使用scala如spark.read.parquet(" path"),我得到0条记录说明"无法推断架构"。但是当我在我的个人架构中使用CTAS创建一个托管表时,只是为了测试我能够从spark-sql>查询它(Shell提示符)

当我从<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script> <input>尝试时,我能够看到数据。 所以这清除了

之间的问题
  

spark-shell> via spark.read.parquet("../../00000_0").show(10)

如果定位Schema会成为问题,那么在通过spark会话访问时它应该表现相同(spark.read.parquet(&#34;&#34;))

我正在使用MapR 5.2,Spark版本2.1.0

请提出可能存在的问题

0 个答案:

没有答案