hive.tez.container.size和tez.task.resource.memory.mb之间的区别

Question

请问有人知道并向我解释Tez的这些设置之间的区别吗？

hive.tez.container.size 和 tez.task.resource.memory.mb

谢谢。

Answer 1

hive.tez.container.size

此属性指定tez容器的大小。通常，此属性的值应与YARN容器大小<​​strong> yarn.scheduler.minimum-allocation-mb 相同或较小（两倍或1倍），并且不得超过 yarn.scheduler.maximum-allocation-mb 。

通常，不要将值大于每个处理器的内存，因为您希望每个容器1个处理器，并且您希望将多个容器分拆。

您可以在Hortonworks社区答案here上找到非常详细的答案和出色的体系结构图

tez.task.resource.memory.mb

TEZ容器中已启动任务使用的内存量。通常，此值是在DAG中设置的，但如果未设置，则默认情况下它将设置为1024 MB。

DAG中的所有任务都将具有相同的大小，这对于容器重用和性能都有帮助。