Hadoop纱线中的磁盘已满问题

时间:2017-10-09 13:49:29

标签: amazon-web-services hadoop apache-spark yarn amazon-emr

我正在使用EMR&使用yarn作为资源管理器和Hadoop 2.7.3-amzn-0运行火花流工作,面临磁盘完全问题所以,我已经实现了两个属性 yarn.nodemanager.localizer.cache.cleanup在yarn-site.xml中,.interval-ms为600000 yarn.nodemanager.localizer.cache.target-size-mb为1024 ,一段时间后我的磁盘空间也变满了并越过我配置的限制。似乎我配置的属性不起作用并且手动我必须使用以下命令清理磁盘:rm -rf filecache / usercache /

每个spark作业都在filecache中创建目录,如: - /mnt/yarn/usercache/hadoop/filecache/5631/__spark_libs__8149715201399895593.zip包含所有.jar文件。

如何自动清理filecache& usercache?我必须更改哪个文件和位置?

任何人都可以帮忙。

0 个答案:

没有答案