我关注document
但仍然无法抓取多个网页。
我的代码就像:
def parse(self, response):
for thing in response.xpath('//article'):
item = MyItem()
request = scrapy.Request(link,
callback=self.parse_detail)
request.meta['item'] = item
yield request
def parse_detail(self, response):
print "here\n"
item = response.meta['item']
item['test'] = "test"
yield item
运行此代码不会调用parse_detail函数,也不会抓取任何数据。任何的想法?谢谢!
答案 0 :(得分:0)
我发现如果我注释掉allowed_domains它会起作用。但它没有意义,因为链接属于allowed_domains肯定。