从不同地理区域的站点读取站点html

Question

我正在使用python和Beautiful soup来阅读html页面。不幸的是，有些网站会重定向到我的地理区域（AU），因此我无法检索目标国家/地区版本，即（英国，美国，法国，新西兰......）

我尝试过使用VPN服务，但这需要我手动更改区域，以便我无法自动完成此过程。我已经尝试使用python quartz.Coregraphics库来点击屏幕上的选项，但这是不稳定的。

有没有办法以编程方式实现这一目标？

Answer 1

我已经设法自己解决了这个问题。最好通过示例来回答基于英国的网站。

import urllib2
url = 'Some-uk-url'

req = urllib2.Request(url)
req.add_header('Accept-Language', 'en-gb')
req.add_header('X-Forwarded-For', [a uk proxy ipaddress here])

htmltext = urllib2.urlopen(req).read()