python脚本收到的故障排除404

Question

我有一个python脚本，每3分钟在someExampleSite.com上ping 12页。它已经工作了几个月但是今天我开始每次运行时都会收到6个页面的404错误。

所以我尝试使用运行脚本的PC上的那些网址，并在Chrome和Safari中加载。我也尝试更改脚本正在使用的用户代理字符串，并且也没有更改任何内容。我也尝试删除['If-Modified-Since']标题，它也没有改变任何东西。

为什么服务器会为这6个页面发送我的脚本404但是在同一台计算机上我可以在Chrome和Safari中加载它们就好了？ （我确保在Chrome和Safari中进行了很难刷新，但仍然可以加载）

我正在使用urllib2发出请求。

Answer 1

这可能有多种原因，例如服务器根据丢失的标头拒绝您的请求或限制。

您可以尝试使用HTTP Headers在Chrome中记录您的请求标头，然后使用Python requests库在您的请求中添加所有浏览器标头。然后你可以尝试更改或删除标题，看看到底发生了什么。

Answer 2

所以我弄清楚问题是什么。

网站正在为这6页返回错误的回复代码。即使它返回404，它也会返回网页。 Chrome和Safari似乎忽略了响应代码并显示页面，我的脚本在404上中止。