scrapy使用Request抓取多个页面

Question

我关注document

但仍然无法抓取多个网页。

我的代码就像：

def parse(self, response):
        for thing in response.xpath('//article'):
            item = MyItem()
            request = scrapy.Request(link,
                                     callback=self.parse_detail)
            request.meta['item'] = item
            yield request

def parse_detail(self, response):
        print "here\n"
        item = response.meta['item']
        item['test'] = "test"
        yield item

运行此代码不会调用parse_detail函数，也不会抓取任何数据。任何的想法？谢谢！

Answer 1

我发现如果我注释掉allowed_domains它会起作用。但它没有意义，因为链接属于allowed_domains肯定。