使用单个搜寻器和多个小型搜寻器来搜寻1000个寻呼机

时间:2018-11-13 06:36:23

标签: beautifulsoup web-crawler

我想检索一个本地新闻网站,每个类别有1000多个寻呼机。我正在使用美丽汤和要求。但是,即使从上午10:00到下午5:30运行,我的搜寻器也非常慢,它仍然无法完成。因此,我有一个想法,那就是使后者的尺寸最小(每个都可容纳100个寻呼机)并并行运行。 现在,我寻求的建议是: 哪种方法比较省时间? 谢谢,抱歉我的英语不好。

0 个答案:

没有答案