抓取抓取多个链接

时间:2018-12-28 18:06:10

标签: web screen-scraping scrapy-spider

我抓取了一个网页以及我存储在列表中的所有有用链接,现在我要抓取列表中的那些链接。那我该怎么办呢?

1 个答案:

答案 0 :(得分:0)

这就是我用来做的事情

for link in link_list:
   yield scrapy.Request(link, self.parse, method='GET')

使用for循环遍历链接列表。