标签: python scrapy
我无法找到一个scrapy示例,我希望使用以下示例网址抓取网站:
example.com/page.aspx?id=1
page.aspx上会有一个项目,具体取决于id。我想传递最小数量(例如15),然后运行scrapy直到它获得最高ID(例如25)。
page.aspx
id
15
25
一旦抓取工具到达顶部ID,就会显示一条消息,说明“不方便”而不是404或其他代码。
404
大多数情况下,我想知道如何使用数字迭代地址。我对scrapy发现并关注页面上的链接不感兴趣。