Scrapy抓取链接列表

时间:2014-05-15 12:10:32

标签: python scrapy web-crawler

我正在抓取一个页面,并从hrefs

获得一个链接列表
['www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0347','www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=SDM0346', 'www.fundsupermart.co.in/main/fundinfo/viewFund.svdo?sedolnumber=AXS0229' ....]

是否可以从同一个蜘蛛抓取这些链接?它就像在爬虫已经抓取链接时爬行另一个链接一样。我不需要代码只是一个如何完成它的指导。

1 个答案:

答案 0 :(得分:1)

使用CrawlSpider并为链接列表定义适当的规则?