我是新手。我们设置了solr环境,我们发现在nutch中我们正面临着一个问题。磁盘空间正在100%利用。当我们调试它时,我们看到下面位置的jobcache占用了更多空间(70%appx。)。
" / TMP / Hadoop的根/ mapred /本地/的TaskTracker /根/ jobcache /"
我搜索了许多论坛,以了解这个jobcache文件夹的确切含义。
任何人都可以帮助我理解这个jobcache文件夹包含什么,以及如何限制此tmp文件夹以不利用空间。
如果删除jobcache文件夹并使用mkdir命令再次创建它会有什么影响?
提前致谢。
答案 0 :(得分:2)
您提到的目录名是/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/
。
TaskTracker(从属)守护程序使用此目录在任务时本地化作业文件
在奴隶身上奔跑。作业完成后,jobCache下的目录必须自动清理。
此电子邮件链http://mail-archives.apache.org/mod_mbox/hadoop-user/201301.mbox/%3C26850_1357828735_0MGE0023YZCTOO30_99DD75DC8938B743BBBC2CA54F7224A706D2E1AF@NYSGMBXB06.a.wcmc-ad.net%3E讨论了类似的问题。