纱线本地目录-每个节点的设置

Question

在我们的生产集群中，我不时遇到一系列有关devop的问题。有时，/分区在几个节点上不堪重负。简而言之，事实证明这些节点具有1个而不是2个数据驱动器。如果我们在群集上没有以下设置，则不会有问题：

   <property>       
      <name>yarn.nodemanager.local-dirs</name>       
      <value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value> 
   </property>

一些开发者或其他人注意到较小节点上没有/ data2分区，提出了只使用/分区的想法。由于/的容量为16GB，因此一些需要更多数据的工作很快就可以解决问题。

现在，我的问题是：纱线是否支持每个节点的yarn.nodemanager.local-dir设置？

我通过从故事中删除/data2/hadoop/yarn/local来解决了这个问题，但这并不完美。

我们正在使用HDP 2.6.4。

谢谢！

Answer 1

YARN允许这样做，因为每个节点管理器都会读取它的本地yarn-site.xml。但是，我不知道您将如何在Ambari中做到这一点。