Scrapy示例:example.com/page.aspx?id = 1

时间:2016-04-13 18:52:30

标签: python scrapy

我无法找到一个scrapy示例,我希望使用以下示例网址抓取网站:

example.com/page.aspx?id=1

page.aspx上会有一个项目,具体取决于id。我想传递最小数量(例如15),然后运行scrapy直到它获得最高ID(例如25)。

一旦抓取工具到达顶部ID,就会显示一条消息,说明“不方便”而不是404或其他代码。

大多数情况下,我想知道如何使用数字迭代地址。我对scrapy发现并关注页面上的链接不感兴趣。

0 个答案:

没有答案