纱线 - 使hadoop使用更多资源

Question

如您所见，此节点包含3个容器（使用6GB内存和3个vCore）。我希望它使用其余的vCores（vCores Avail列中的5个vCore）。我还没有在yarn-site.xml上做过任何配置。

Answer 1

Yarn仅使用所需的资源

您目前正在查看的内容似乎是正在运行的作业当前使用的资源。

Yarn知道允许使用2GB以上的内存和5个vcores，但似乎根据作业的性质，这些根本无法使用。

因此，它可能不是一个问题，或者某些需要修复的问题，而只是一个你运行这种性质的问题。

实施例

当我说这种性质的工作时，我指的是不需要使用3个容器，每个2 GB的工作。

此类作业最简单的例子是3个相对较小的文件，默认容器大小为2 GB。

如果你真的想要更平行地运行这种工作，你需要求助于解决方法（比如设置一个微小的最大容器大小，或者将所有文件分成两半）。但是，我不建议这样做。