Question

我们有一个在HDFS 2.7.3上运行的火花流应用程序，Yarn作为资源管理器....在运行应用程序时......这两个文件夹

/tmp/hadoop/data/nm-local-dir/filecache

/tmp/hadoop/data/nm-local-dir/filecache

正在填满，因此磁盘......

所以我的研究发现在yarn-site.xml中配置这两个属性会有所帮助

<property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>2000</value>
</property>

<property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>2048</value>
</property>

我已经在每个namenode和masternode上配置了它们..并且重新启动了masternode上的纱线..但仍然似乎没有帮助...如果我错过任何东西请告诉我...在进行配置时更改...这是yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hdfs-name-node</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>6</value>
</property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///tmp/hadoop/data/nm-local-dir</value>
</property>

<property>
    <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
    <value>2000</value>
</property>

<property>
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
     <value>2048</value>
</property>

</configuration>

更新：我尝试使用此属性，但仍然无法清理并且磁盘已满;

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
   </property>

Answer 1

你说文件夹＆＃34; / tmp / hadoop / data / nm-local-dir / filecache＆＃34;正在填补所以应该定期清理。

但是您为清理指定的参数，特别是＆＃34; yarn.nodemanager.localizer.cache.cleanup.interval-ms＆＃34;和＆＃34; yarn.nodemanager.localizer.cache.target-size-mb＆＃34;适用于＆＃34; / tmp / hadoop / data / nm-local-dir / filecache＆＃34;但是＆＃34; yarn.nodemanager.local-dirs＆＃34;值＆＃34; file：/// tmp / hadoop / data / nm-local-dir＆＃34;不包括＆＃34; filecache＆＃34;在路上。修复值＆＃34; file：/// tmp / hadoop / data / nm-local-dir＆＃34; to＆＃34; file：/// tmp / hadoop / data / nm-local-dir / filecache＆＃34;。

纱线：yarn-site.xml更改未生效

1 个答案: