EMR 5.16.0-启动了太多的映射器

Question

尝试将EMR EC2实例从5.3 C4.4Xlarge（HIVE 2.1.1版）升级到EMR 5.16.0 C5.4XLarge（Hive 2.3.3） 我从2.1.1 EMR 5.3.0中的表中选择max（date）的简单查询仅启动1个映射器和1个reducer，而当我升级并运行相同的查询时，它将启动1300多个mappers。

试图比较两者的设置属性，但没有发现差异。

有人可以在这里帮我吗

Answer 1

尝试以下设置。从配置单元2.1.1到2.3.3的某个地方，他们将其从 true 翻转为 false 。

set hive.optimize.metadataonly=true;