如何确定YARN容器的正确数量？

Question

我的问题是关于YARN的配置。 如何确定群集中需要多少个容器？ 换句话说，我需要考虑为每个容器设置正确的内存/ CPU数量吗？

大小调整有一些最佳实践吗？

感谢。

Answer 1

无法对hortonworks发表评论，但大小应与cloudera相同

<强> CPU

1 vcore致力于操作系统 1个vcore到hdfs datanode 1个vcore用于节点管理器 1供应商代理的vcore（这纯粹是为了cloudera，假设有一个ambari等价物）

我将分配给纱线容器的所有其他人。我会将一个vcore多人游戏分配给4

<强> RAM

为你的操作系统预留一些，这取决于你的操作系统，但它会在4-8GB之间 拿走ram为你的hdfs datanode＆amp;你的nodemanager（每个最小1GB） 带走为其他服务预留的任何额外的ram 为纱线分配其余部分。