我正在使用Hortonworks环境进行大数据处理。
我观察到，作为来自Hive / Oozie / Pig等的Map Reduce作业的一部分，我的下面的本地缓存目录正在填满。它为每个地图创建一个文件夹以减少与jar文件的执行。
/的hadoop /纱线/本地/ usercache /根/ filecache
如果直接删除这些文件夹，可以吗？我可以设置任何配置自动删除它吗？
答案 0 :(得分：1)
这些目录应该每600000毫秒（10分钟）自动清理一次。
或者您可以通过在yarn-site.xml中设置此属性来缩短此时间段，
yarn.nodemanager.localizer.cache.cleanup.interval-ms。
您还可以更改此缓存目录应占用的最大大小，
yarn.nodemanager.localizer.cache.target-size-mb。默认目标大小为10240MB。
如果没有正在运行的作业，手动删除缓存就可以了。删除缓存后重新启动nodemanager。