如何从EXPLAIN中为不同的配置阶段设置资源？

Question

有没有办法根据EXPLAIN查询中的阶段提供资源。

Answer 1

AFAIK唯一可以设置的内容是：

• R /完全计数set mapred.reduce.tasks=** （只要它makes sense）
• R / max计数set hive.exec.reducers.max=** +提示计算实际数量set hive.exec.reducers.bytes.per.reducer=*****
• 每M容器的资源（使用MR时）/ set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX**＆lt;〜80％的总数＆gt;
• 每个R容器的资源（使用MR时）/ set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX**＆lt;约占总数的80％＆gt;
• 每个容器的资源（使用TEZ时）/ set hive.tez.container.size=** + set hive.tez.java.opts=-XMX**＆lt;约占总数的80％＆gt;

请注意，如果您的查询显示3个地图步骤和2个减少步骤，则设置将应用于所有步骤......

参考：Hive documentation和that post for instance