Question

我有一些python代理检查器。

为了加快检查速度，我决定改为多线程版本，

和线程模块对我来说是第一次，我多次尝试转换为线程版本

并寻找许多信息，但对新手python程序员来说并不那么容易。

如果有人能帮助我真的很感激!!

提前感谢！

import urllib2, socket

socket.setdefaulttimeout(180)
# read the list of proxy IPs in proxyList
proxyList = open('listproxy.txt').read()

def is_bad_proxy(pip):    
    try:        
        proxy_handler = urllib2.ProxyHandler({'http': pip})        
        opener = urllib2.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib2.install_opener(opener)        
        req=urllib2.Request('http://www.yahoo.com')  # <---check whether proxy alive 
        sock=urllib2.urlopen(req)
    except urllib2.HTTPError, e:        
        print 'Error code: ', e.code
        return e.code
    except Exception, detail:

        print "ERROR:", detail
        return 1
    return 0


for item in proxyList:
    if is_bad_proxy(item):
        print "Bad Proxy", item
    else:
        print item, "is working"

Answer 1

urllib2.install_opener()函数安装全局 opener，即它不是线程安全的。所以不要使用它并调用opener.open()方法而不是全局urllib2.urlopen()函数。还可以使用Queue模块中的Queue类来保存要检查的代理列表。您可以在线程模式下使用其余代码。

Python代理检查器，更改为线程版本

1 个答案: