网页抓取时如何获取当前网址？

Question

我正在使用scrapy进行网页抓取，我想将数据存储到csv文件中。如何获取当前URL以便我可以使用它来命名我的csv文件？使用python 2.7.14，scrapy 1.5。 scrapy是否提供任何此类功能？

Answer 1

您可以通过“response.request.URL”获取获取网址。在这里我得到了scrapy shell中的URL

    >>> fetch("http://www.bing.com/")
    2018-04-05 15:53:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bing.com/> (referer: None)
    >>> response
    <200 http://www.bing.com/>
    >>> response.request.url
    'http://www.bing.com/'
    >>>

Answer 2

此

self.request.url

或者这个（如果你需要query_string）

self.request.query_string