网页抓取脚本挂

时间:2015-08-03 20:45:32

标签: python web-scraping web-crawler

我有一个必不可少的网页抓取脚本:

repeats over all website names:
    retrieves image off of website
    adds to dictionary with key as website name
    prints out what number of the list its on (for tracking purposes)

但是,它通常需要大约3秒来处理循环的每次迭代。但是每75次左右它突然停止并在特定的迭代中挂起10分钟,然后继续。这真的很烦人,因为脚本只需要一个小时。每当挂起发生时,我注意到终端标题如下:

enter image description here

Wheras正常运行时看起来像:

enter image description here

侧面有圆形运行杆。我猜这是因为它在连接网站时遇到了麻烦。虽然我的网速非常快。此外,所有图像都是类似的尺寸。有谁知道为什么它偶尔会挂掉一次?

0 个答案:

没有答案