什么是将urllib2查询伪装成人类请求（超出用户代理）的最佳方法？

Question

使用urllib2伪装Python程序的最佳方法是什么？我知道如何设置用户代理是一个良好的开端。但是其他项目如引用网址呢？有什么方法可以设置吗？还有其他建议吗？

以下是我用来添加用户代理的内容：

opener = urllib2.build_opener()
opener.addheaders = [('User-agent','Mozilla/5.0 (X11; Linux x86_64; rv:2.0.1) Gecko/20110506 Firefox/4.0.1')]
f = opener.open("http://www.domain.com")

Answer 1

你还没有提到很多细节。要找到答案，只需转到您喜欢的浏览器中的www.domain.com（使用优秀的开发工具），然后检查网络流量。

Chrome内置了工具。 Firebug适用于firefox。

查看已发送的所有标头，并根据您的具体需要进行复制。

Answer 2

您可以将真实的浏览器指向this one或this one等工具，查看您的真实浏览器发送的所有字段的确切内容，并在Python脚本中模仿它。