YARN应用程序如何估计所需资源

Question

我想知道YARN应用程序（让我们说MapReduce作业）如何估算单个映射器/缩减器所需的资源（CPU，RAM）。

Answer 1

这个问题太宽泛了，但我会尝试给出一个调查方向。执行Yarn应用程序时，它会从Resource Manager请求一定数量的资源。 Yarn中的资源管理是通过调度程序实现的。 Yarn支持两个调度程序：

• Fair scheduler
• Capacity Scheduler

计划程序定义用于估计＆＃34;插槽的规则＆＃34;申请。对于一些调度程序＆＃34; slot＆＃34;仅由应用程序所需的内存定义（Capacity Scheduler with DefaultResourseCalculator）。其他人也考虑了CPU的数量。