在抓取时随机获取HTTP 400错误

Question

我的抓取程序通常有效，但偶尔会从服务器收到HTTP 400错误。没有持久的节流效果;它会在400响应之后立即恢复工作。我估计我得到的响应中有1/5000是400，而其余的都是成功（200's）。可能会发生什么......我能做些什么来消除这些错误？

Answer 1

Http 400是不好的请求。

请求中有服务器正在做出反应。它不会影响任何其他请求。

典型的原因是特殊字符是一个字符串。

解决问题的最佳方法是找到根本原因，如果您的环境中有可能，请尝试记录所有请求。