Scrapy仅返回400个HTTP代码错误

时间:2019-07-16 03:47:53

标签: python nginx scrapy http-status-code-400

我在许多不同的网站上都抓狂。无论我选择哪个站点,scrapy都会返回一个200代码,其余的400代码使我的搜寻器无用。知道为什么吗?

{'downloader/request_bytes': 14495,
{'downloader/request_bytes': 14495,
 'downloader/request_count': 25,
 'downloader/request_count': 25,
 'downloader/request_method_count/1': 24,
 'downloader/request_method_count/1': 24,
 'downloader/request_method_count/GET': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 11208,
 'downloader/response_bytes': 11208,
 'downloader/response_count': 25,
 'downloader/response_count': 25,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/400': 24,
 'downloader/response_status_count/400': 24,

downloader / response_status_count / 400始终是响应的99.99%。我已经在100多个不同的站点上尝试过这个问题,始终是同样的问题。

请注意,我正在使用代理。另外,现在在多个(单独的)网站上,我得到了这个错误:

<html>\r\n<head><title>400 Bad Request</title></head>\r\n<body bgcolor="white">\r\n<center><h1>400 Bad Request</h1></center>\r\n<hr><center>nginx</center>\r\n</body>\r\n</html>

为什么会出现nginx错误?

0 个答案:

没有答案