在Scrapy中爬行多个级别

Question

我是scrapy的新手，在我花费超人的时间查看文档，试用和错误之前，我想我会问专家我是否正在寻找甚至是可能的

1. 导航到应用程序网址
2. 从网站上的所有链接中过滤链接的子集。
3. 访问其中的每个链接 3.1对于每个链接，刮取并提取并存储一些信息 3.2我想遵循此回复中的特定链接 3.3抓取对此链接的响应并记录该链接。

要做到这一点，所有这一切都可以在一个蜘蛛中完成，还是我必须过滤第2步的链接并为第3步调用第二个蜘蛛？

Answer 1

更新：所以使用scrapy绝对可以。至少多级爬行是。我还没有足够的知道我是否可以在爬行中存储和链接来自不同级别的项目，以便我在一个地方获得信息。但从我迄今为止看到的scrapy的灵活性来看，这很有可能。