Spark执行器核心未在纱线资源管理器中显示

Question

纱线资源管理器未显示spark应用程序的总核心数。 让我们说如果提交一个300个执行程序和执行程序核心为3的火花作业。那么火花作业所用的总核心数是900，但在纱线资源管理器中它只显示为300.

这只是一个显示错误，还是Yarn没有看到剩余的600个内核？

环境：HDP2.2 调度程序：容量调度程序 Spark：1.4.1

Answer 1

设置

  

yarn.scheduler.capacity.resource计算器= org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

myEditText.setInputType(InputType.TYPE_NULL); myEditText.setOnClickListener(new View.OnClickListener() { @Override public void onClick(View v) { // showMyDialog(); } }); myEditText.setOnFocusChangeListener(new View.OnFocusChangeListener() { @Override public void onFocusChange(View v, boolean hasFocus) { if (hasFocus) { // showMyDialog(); } } });

中的

YARN运行的容器多于分配的核心，因为默认使用DefaultResourceCalculator。它只考虑记忆。

capacity-scheduler.xml

使用DominantResourceCalculator，它使用cpu和内存。

您可以阅读有关DominantResourceCalculator here的更多信息。