执行Hive查询时分配了多少Mapper和Reducers

Question

执行Hive查询时，执行了多少个映射器/缩减器，或者执行Hive查询时，如何识别man mappers和reducer的执行方式？

Answer 1

Mapper数量取决于jobclient计算的输入拆分数。

hive查询就像Map减少作业系列一样。如果您编写一个简单的查询，例如 select Count(*) from Employee ，则只会执行一个Map reduce程序。如果给出包含大量聚合和连接等的复杂查询，将执行Map Reduce程序系列，该程序使用较早的MR相位输出作为下一个MR阶段的输入，最终结果将被转储到HDFS中。

Hive Shell中的开发人员可以将 mapred.reduce.tasks = x

设置为减少者数量