纱线MRV2性能调整地图和减速器的数量MRV1性能更好

Question

我正在使用Yarn运行MR java程序，即使映射器的数量为24，但实际运行的映射器为10，其余14个映射处于挂起状态。如何使它们也运行模式。我们正在运行MAPR 6节点集群。 更改了mapred-site.xml和Yarn-site.xml中的以下属性。 这些值被默认值覆盖，但我还没有看到任何性能基准。

注意。我正在运行相同的程序与MRv1性能明智，它更好一些如何。所以请建议我如何充分利用集群利用率资源。

使用的命令： yarn jar /opt/cluster/bin/logmessage-1.0-SNAPSHOT.jar com.message.WordPreprocessDriver -Dmapreduce.input.fileinputformat.split.maxsize = 33554432 /data/123.txt < /强>

在纱线现场

<name>yarn.nodemanager.resource.memory-mb</name>
<value>20960</value>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>

在mapred-site

<name>mapreduce.map.memory.mb</name>
<value>4096</value>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072m</value>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144m</value>

mapreduce.job.maps

<name> mapreduce.job.maps</name>
<value>4</value> 

你知道吗 实际上，总容器运行为11。有40个vcores可用，其中11个vcores在运行MR程序时使用。您可以分享一下需要改变的属性吗？

谢谢你， 马杜