什么是为集群中的yarn.scheduler.maximum-allocation设置正确值的公式

Question

在您要设置群集的情况下，请考虑每台计算机具有32G GB的RAM。和16 CPU核心

如何根据信息确定以下参数（32G GB的RAM。和16 CPU CORE  ）

yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores 

是否有可能在这里给出公式来计算任何集群上的这些参数？

据我们所知，部分RAM（32G）应保留给操作系统和其他已安装的应用程序。

所以我们将 - yarn.nodemanager.resource.memory-mb设置为28G

Answer 1

Cloudera提供了一个电子表格来执行此操作。

http://tiny.cloudera.com/yarn-tuning-guide

您还应该查看Untangling Apache Hadoop YARN, Part 2: Global Configuration Basics

一般来说，vcores应该被认为是一个计算单元。如果您认为您的应用程序平均使用1GB内存，那么在给定28GB总内存的情况下，您可以将vcores设置为28。如果你认为它是2GB，那么14。

注意：在几乎所有情况下，应用程序都受I / O限制（磁盘或网络），因此CPU过度使用很少是限制因素。