Spark集群中的Hive查询

Question

我需要了解如何在Spark集群中执行配置单元查询。它可以作为在内存中运行的Mapreduce作业运行，也可以使用spark架构运行配置单元查询。请澄清。

Answer 1

如果在hive或beeline中运行hive查询，它将使用Map-reduce，但是，如果在spark REPL或程序中运行hive查询，则查询将简单地转换为数据帧，并创建与数据帧相同的逻辑和物理计划，执行。因此将使用火花的所有力量。

Answer 2

假设您具有配置了YARN和Spark的Hadoop集群；

配置单元执行引擎由hive.execution.engine属性控制。根据{{​​3}}，它可以是mr（默认），tez或spark。