Question

我正在尝试使用Yarn在Cloudera 5上运行Spark动态资源分配。

在Spark documentation中，Cloudera配置界面中缺少在yarn-site.xml上设置所需的属性。即使我在yarn-site.xml中手动设置了这些属性，并且我将yarn-shuffle.jar添加到类路径中，但是洗牌服务无效。

我收到了以下异常

org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException：The auxService：spark_shuffle不存在

Answer 1

这对我有用：

如果您部署了Cloudera，请转到cloudera manager（端口7180）我有CDH 5.6.0

前往YARN（包括MR2） - ＆gt;配置 - ＆gt; NodeManager默认组 - ＆gt;先进

在与＆＃34; NodeManager高级配置代码段（安全阀）相关联的文本框中，用于yarn-site.xml＆＃34;粘贴以下内容：

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>spark_shuffle,mapreduce_shuffle</value>
  </property>
<property>
    <name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
    <value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>

单击“保存更改”。行动 - ＆gt;部署客户端配置行动 - ＆gt;重新启动

如何在YARN中的Cloudera 5上设置动态分配？

1 个答案: