我们有一个外部蜂巢表,存储为Parquet。我不是这个蜂巢拼花桌的架构的拥有者,所以没有太多的信息。
这里的问题是在尝试从spark-sql>查询该表时(Shell提示)不是通过使用scala如spark.read.parquet(" path"),我得到0条记录说明"无法推断架构"。但是当我在我的个人架构中使用CTAS创建一个托管表时,只是为了测试我能够从spark-sql>查询它(Shell提示符)
当我从<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.2.1/jquery.min.js"></script>
<input>
尝试时,我能够看到数据。
所以这清除了
spark-shell> via spark.read.parquet("../../00000_0").show(10)
如果定位Schema会成为问题,那么在通过spark会话访问时它应该表现相同(spark.read.parquet(&#34;&#34;))
我正在使用MapR 5.2,Spark版本2.1.0
请提出可能存在的问题