Scrapy:如何在一段时间后重新抓取页面?

时间:2013-04-15 12:15:11

标签: web-scraping scrapy

懒惰,我正在尝试使用scrapy而不是使用芹菜+请求实现我自己的抓取服务(在那里,完成了)。假设我有一个我喜欢监控的N页列表。检索页面X并读取其内容后,我想告诉系统稍后重新扫描它(取决于其内容),比如说两个小时过去了。

Scrapy可以做到这一点吗?

0 个答案:

没有答案