Question

我已经为传递的3周运行了nutch爬行命令，现在当我尝试运行任何nutch命令时，我得到以下错误

Java HotSpot（TM）64位服务器VM警告：空间不足   共享内存文件：/ tmp / hsperfdata_user / 27050尝试使用   -Djava.io.tmpdir =选择备用临时位置的选项。

错误：无法找到或加载主类___。tmp.hsperfdata_user.27055

我该如何解决这个问题？

Answer 1

是的，这是你的/ tmp安装在音量上可用空间的问题。如果您在EC2或任何云平台上运行此操作，请附加新卷并将/ tmp挂载到该平台上。如果在本地运行，除了清理以增加空间外没有其他选择。

尝试使用以下命令：df -h查看实例上安装的每个卷上使用的％和可用空间。你会看到类似的东西：

Filesystem            Size  Used Avail Use% Mounted on
/dev/xvda1            7.9G  7.9G     0 100% /
tmpfs                  30G     0   30G   0% /dev/shm
/dev/xvda3             35G  1.9G   31G   6% /var
/dev/xvda4             50G   44G  3.8G  92% /opt
/dev/xvdb             827G  116G  669G  15% /data/1
/dev/xvdc             827G  152G  634G  20% /data/2
/dev/xvdd             827G  149G  637G  19% /data/3
/dev/xvde             827G  150G  636G  20% /data/4
cm_processes           30G   22M   30G   1% /var/run/cloudera-scm-agent/process

当磁盘空间已满时，您将开始看到此错误，如此转储中所示。

Answer 2

我认为使用的临时位置已满。尝试使用其他位置。另外，检查每个分区中的#inodes，并清空一些空间。

修改无需在OS级别更改/ tmp。我们希望nutch和hadoop使用其他位置来存储临时文件。看看这样做： What should be hadoop.tmp.dir ?

当我尝试运行nutch generate命令时，共享内存文件的空间不足

2 个答案: