如何从Apache Spark访问Hive表？

Question

我已经设置了一个hive数据集市，并使用spark框架查询表并执行ETL活动，现在我希望用户通过从其本地计算机连接来访问hive表，并且查询应使用spark框架。

Answer 1

您可以遵循多种方法来连接到Hive Metastore或从Apache Spark处理框架访问Hive表。

以下是一些从apache spark访问蜂巢表的常用方法：

• 使用Apache Spark Beeline访问Hive表
• 使用Apache Spark JDBC驱动程序访问Hive表
• 从Python和示例执行Pyspark脚本

请点击以下链接以详细了解：http://dwgeek.com/methods-to-access-hive-tables-from-apache-spark.html/

Answer 2

我认为您应该研究Hive on Spark。

当您对该服务进行配置时（在链接的网站上有解释），用户将可以在Hive Editor（例如Hue）上编写查询，但是将在下面使用Spark提供结果。 用户可以这样更改其查询引擎

set hive.execution.engine=spark;
set hive.execution.engine=mr;