我试图让我的抓取工具抓取下一页,所以我写了这个函数:
def requestURL(self, hrefPath):
print(hrefPath)
url = "http://www.presseportal.de/" + hrefPath
yield scrapy.Request(url, callback=self.parse)
它甚至没有打印变量hrefPath
所以我怀疑函数没有被调用,虽然我很确定我这样称它是正确的:
self.requestURL(hrefPath)
我是非常新的scrapy所以非常抱歉,如果这个问题看起来很愚蠢
答案 0 :(得分:0)
我明白了: 而不是写
yield scrapy.Request(url, callback=self.parse)
写回程
yield scrapy.Request(url, callback=self.parse)
在函数中,当你在解析函数中调用函数时写:yield requestURL(hrefPath)