为什么在未经重定向的头中设置用户代理可以避免403s？

Question

我注意到，如果用户代理是通过add_unredirected_header函数设置的，那么当urllib2用于获取403错误时会返回403错误的网页会返回内容。如果通过add_header设置了用户代理，则即使用户代理字符串与可以成功加载页面的Web浏览器的字符串匹配，这些页面仍将返回403s。只有当add_unredirected_header用于设置返回页面内容的用户代理时，并且在这些情况下，似乎可以将用户代理设置为任何内容。为什么在未经重定向的头中设置用户代理会避免403s？

Answer 1

这是known bug of python。 有关详细说明，请参阅issue2756: urllib2 add_header fails with existing unredirected_header 。