scrapy有响应状态400,但浏览器响应是否可以?

时间:2014-12-11 13:58:26

标签: python scrapy polipo

我有这种奇怪的情况,

我有一个链接适用于我目前拥有的所有borwsers(chrome,IE,firefox), 我尝试使用scrapy中的python抓取页面。但我得到response.status == 400, 我正在使用tor + polipo匿名抓取

response.body是:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head>
<title>Proxy error: 400 Couldn't parse URL.</title>
</head><body>
<h1>400 Couldn't parse URL</h1>
<p>The following error occurred while trying to access <strong>https://exmpale.com/blah</strong>:<br><br>
<strong>400 Couldn't parse URL</strong></p>
<hr>Generated Thu, 11 Dec 2014 13:55:38 UTC by Polipo on <em>localhost:8123</em>.
</body></html>

我只是想知道原因应该是什么,浏览器可以获得结果而不是scrapy吗?

0 个答案:

没有答案