我如何使用scrapy.Request正确方式

时间:2016-11-17 19:12:16

标签: python scrapy

我试图让我的抓取工具抓取下一页,所以我写了这个函数:

    def requestURL(self, hrefPath):
        print(hrefPath)
        url =  "http://www.presseportal.de/" + hrefPath
        yield scrapy.Request(url, callback=self.parse)

它甚至没有打印变量hrefPath所以我怀疑函数没有被调用,虽然我很确定我这样称它是正确的: self.requestURL(hrefPath)

我是非常新的scrapy所以非常抱歉,如果这个问题看起来很愚蠢

1 个答案:

答案 0 :(得分:0)

我明白了: 而不是写

yield scrapy.Request(url, callback=self.parse)

写回程

yield scrapy.Request(url, callback=self.parse)

在函数中,当你在解析函数中调用函数时写:yield requestURL(hrefPath)