获取OSError：[Errno 12]在抓取时无法分配内存

Question

我使用scrapy来抓取数据。在短时间内发生内存错误后抓取数据。  OSError: [Errno 12] Cannot allocate memory 可能是什么原因。

Answer 1

由于内存不足，可能会发生这种情况。尝试使用以下命令增加交换内存。

B

然后打开fstab

sudo dd if=/dev/zero of=/swapfile bs=1024 count=1024k
sudo mkswap /swapfile
sudo swapon /swapfile

然后添加以下行以使交换更改永久化。

sudo nano /etc/fstab

参考link

Answer 2

您还可以指定scrapy项目settings.py文件中使用的内存量：

MEMUSAGE_ENABLED = True
MEMUSAGE_LIMIT_MB = 1024

我认为scrapy使用512作为默认内存使用。