由于nutch linux实例的tmp目录中的jobcache,磁盘空间被填满

时间:2014-07-24 04:52:26

标签: linux hadoop solr nutch

我是新手。我们设置了solr环境,我们发现在nutch中我们正面临着一个问题。磁盘空间正在100%利用。当我们调试它时,我们看到下面位置的jobcache占用了更多空间(70%appx。)。

" / TMP / Hadoop的根/ mapred /本地/的TaskTracker /根/ jobcache /"

我搜索了许多论坛,以了解这个jobcache文件夹的确切含义。

任何人都可以帮助我理解这个jobcache文件夹包含什么,以及如何限制此tmp文件夹以不利用空间。

如果删除jobcache文件夹并使用mkdir命令再次创建它会有什么影响?

提前致谢。

1 个答案:

答案 0 :(得分:2)

您提到的目录名是/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/。 TaskTracker(从属)守护程序使用此目录在任务时本地化作业文件 在奴隶身上奔跑。作业完成后,jobCache下的目录必须自动清理。 此电子邮件链http://mail-archives.apache.org/mod_mbox/hadoop-user/201301.mbox/%3C26850_1357828735_0MGE0023YZCTOO30_99DD75DC8938B743BBBC2CA54F7224A706D2E1AF@NYSGMBXB06.a.wcmc-ad.net%3E讨论了类似的问题。