Question

我使用Cloudera Manager 5.5.1设置了一个新群集，这两个名为mapreduce.map.java.opts.max.heap和mapreduce.reduce.java.opts.max.heap的属性与其他两个属性mapreduce.map.java.opts和mapreduce.reduce.java.opts似乎不明确

我应该使用前者还是后者的属性集？

Answer 1

两者意味着相同。指定这些值的方式不同。

我猜，mapreduce.map.java.opts.max.heap和mapreduce.reduce.java.opts.max.heap特定于Cloudera发行版。请参阅：Tuning YARN。

mapreduce.map.java.opts和mapreduce.reduce.java.opts是标准Hadoop配置的一部分。在此处查看Hadoop中继代码：MrJobConfig.java

此外，如果您在此处引用故障单：https://issues.cloudera.org/browse/DISTRO-752，则会讨论如何设置这些值。

例如mapreduce.map.java.opts.max.heap和mapreduce.reduce.java.opts.max.heap指定为（983 MB）：

<property>
    <name>mapreduce.map.java.opts.max.heap</name>
    <value>983</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts.max.heap</name>
    <value>983</value>
</property>

mapreduce.map.java.opts和mapreduce.reduce.java.opts指定为：（983 MB）（我使用这些设置）

<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx983m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx983m</value>
</property>

观察值的差异。一个设置为“983”，另一个设置为“-Xmx983m”

Answer 2

我应该使用前一组还是后一组属性？

答案取决于您是否在CM中使用它们。

如果在CM中，那么mapreduce.map/reduce.java.opts.max.heap是优选的，因为它是精确调整reducers / mappers堆的参数。 mapreduce.map/reducers .java.opts更通用，如果你只想设置堆内存，那么你也需要添加-Xmx。

如果您打算在其他任何地方使用，那么答案就是不要使用它。因为它除了Cloudera Manager之外不存在。阅读https://issues.cloudera.org/browse/DISTRO-752中的评论 - Cloudera很可能会删除该参数名称和dix文档以避免混淆。

Cloudera Manager中的mapreduce.map.java.opts.max.heap和mapreduce.reduce.java.opts.max.heap属性

2 个答案: