检查用于请求Python / Scrapy + ProxyMesh的IP地址

Question

我开始在Scrapy中使用ProxyMesh。 ProxyMesh应该在一个端口上提供IP地址池。下面的示例代码代码在循环中重复，中间件启用，总体而言这很好。我可以跟踪（如果是这样 - 如何？）每个特定请求使用哪个IP地址？

request = scrapy.Request(producturl, self.parse_product_info)
request.meta['proxy'] = 'http://uk.proxymesh.com:xxx'
yield request

我在SOF上发现了类似的帖子，但没有解决这个具体问题。

Answer 1

与评论中指定的一样，信息出现在响应标题上，只需检查它：

def parse_response(self, response):
    print response.headers

您应该看到带有指定代理的X-Proxymesh-Ip标题。

另一种选择可能是使用crawlera，它提供更多功能（如标题，会话和cookie处理）和更好的文档。