让一只蜘蛛使用从另一只蜘蛛返回的物品?

时间:2012-10-02 21:18:56

标签: scrapy

所以我编写了一个蜘蛛网,从网页中提取某些所需的链接,并将不需要包含在<a>标记本身中的URL,链接文本和其他信息放入每个链接的项目中。 / p>

如何将此项目传递给另一个抓取该项目中提供的网址的蜘蛛?

1 个答案:

答案 0 :(得分:6)

这个问题已被多次询问。 以下是本网站上回答您问题的一些链接。 有些人直接回答它,即将项目传递给另一个函数,但你可能会意识到你不需要那样做,所以其他方法被链接到可能的显示。

Using multiple spiders at in the project in Scrapy

Scrapy - parse a page to extract items - then follow and store item url contents

Scrapy: Follow link to get additional Item data?