我有一个必不可少的网页抓取脚本:
repeats over all website names:
retrieves image off of website
adds to dictionary with key as website name
prints out what number of the list its on (for tracking purposes)
但是,它通常需要大约3秒来处理循环的每次迭代。但是每75次左右它突然停止并在特定的迭代中挂起10分钟,然后继续。这真的很烦人,因为脚本只需要一个小时。每当挂起发生时,我注意到终端标题如下:
Wheras正常运行时看起来像:
侧面有圆形运行杆。我猜这是因为它在连接网站时遇到了麻烦。虽然我的网速非常快。此外,所有图像都是类似的尺寸。有谁知道为什么它偶尔会挂掉一次?