从Hive读取表格，不用地图缩减

Question

如何在没有地图缩减的情况下从Hive读取？我试图从Hive上创建的表中读取一列，但我不希望map中存在的开销减少。 Basicaly我想从Hive上创建的表中检索值而不需要开销，并以最快的方式获取它们。

Answer 1

您可以使用Tez或Spark作为Hive中的执行引擎，而不是MapReduce。

请参阅Hive Configuration Properties中的 hive.execution.engine 。

还有相当多的SQL引擎与hive元数据兼容，例如Presto，Spark SQL，Impala。

Answer 2

一般来说，如果你选择＆＃34;选择*来自＆＃34; hive mapreduce中的表格不会运行..

在你的情况下，你只使用一个hive表中的select列，mapreduce也不会运行。

或者您可以在主表上创建一个包含所需列和行数的子表，然后在表上执行select *。