纱线比集群显示的资源更多

Question

我用3 m3.xlarge实例启动了一个EMR集群（1个主机和2个从机），我遇到了一些麻烦。

从aws文档中，m3.xlarge实例有4个vcpu（https://aws.amazon.com/ec2/instance-types/）。这是什么意思？这意味着4个线程或4个核心，每个核心有2个线程？我问你，因为当我打开hadoop UI（端口8088）时，每个实例看起来是8个可用的vcore，但是根据我的经验，集群的行为类似于每个实例4个vcore的2个实例。我错了吗？或者它是来自亚马逊或纱线的错误？

Answer 1

值8 vcores来自默认的Yarn属性

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
    <description>Number of vcores that can be allocated for containers. This is used by the RM scheduler when allocating resources for containers. This is not used to limit the number of physical cores used by YARN containers.</description>
</property>

虽然它被定义为比实例中的实际vcores数更高的值，但是将根据每个nodemanager实例实际可用的vcores数创建容器。

根据实例vcores修改yarn-site.xml中此属性的值。