来自Spark的Hive TBLPROPERTIES

Question

我在文档中没有看到任何内容，但是有没有办法使用TBLPROPERTIES或Hive支持的HiveContext在Spark中查询Hive DataFrame表格？

Answer 1

AFAIK您无法访问Spark在HiveMetastoreClient内使用的HiveSession。

但是，您可以实例化另一个 - 希望CLASSPATH可以并且包含Hive JAR 和包含Hadoop / Hive配置文件的目录，并且您没有Kerberos身份验证（或者您从Spark驱动程序的隐式Hadoop UGI中受益，该驱动程序自动处理Kerberos）;所以这只是new HiveMetaStoreClient(new HiveConf())

的问题

然后.getTable(...).getParameters()应该在Java Map中为您提供所需的TBLPROPERTIES。

https://hive.apache.org/javadocs/r1.2.2/api/org/apache/hadoop/hive/metastore/HiveMetaStoreClient.html