帮助解决奇怪的Python抓取错误。一台机器上的HTTPError,而其他机器上的HTTPError

时间:2010-07-15 19:27:56

标签: python urllib2 screen-scraping

我正在使用代理,以下是代码。

 20     req = urllib2.Request(url)
 21     # run the request for each proxy
 22     # now set the proxy
 23     req.set_proxy(proxy, "http")
 24     req.add_header('User-Agent', 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3')
 25     req.add_header('Referer', 'http://www.google.com/')
 26     # time it
 27     start = time.time()
 28     # try to open the URL
 29 
 30     time.sleep(maxwait*random.random())
 31     #response = urllib2.urlopen(req)
 32     opener = urllib2.build_opener()
 33     response = opener.open(req).read()

在一台机器上运行正常(直接使用eclipse和Firefox)但在另一台机器(不同的IP)上的终端上运行它时会出现以下错误。

urllib2.HTTPError: HTTP Error 403: Forbidden

任何线索?谢谢你们!

1 个答案:

答案 0 :(得分:0)

该脚本是否适用于第一台机器?

点击此处查看代理是否有效:http://www.domaintools.com/research/my-ip/