如何提取我的抓取工具当前所在的网址？

Question

我正在使用python中的scrapy框架创建一个Web爬虫。 主要思想是爬虫从页面中提取一些数据，如果数据符合某些条件，则爬虫应提取其当前所在的URL。 在scrappy中是否有一些获取当前URL的方法/函数？

感谢。

Answer 1

响应＆＃39;传递给parse（）的变量具有您想要的信息。你不应该覆盖任何东西。

例如

def parse(self, response):
    print "URL: " + response.url