我有一个脚本,它接受一组URL,抓取一个随机代理,并通过代理ping URL。在我发出请求之前几毫秒,我使用geoip
库检查代理的来源,以便我可以记录请求的位置。
这种方法有多可靠?我理解代理可以转移位置,因此总是存在误差范围,但我正在尝试更好地评估该保证金的范围以及我如何能够改进我的方法。
编辑:我理解这可能会受到意见的影响,这就是为什么我要评估所涉及的错误幅度,而不是接受是/否答案。
示例:
import random
from geoip import geolite2 as geo_ip
proxy = random.choice(proxy_list)
proxy_locale = geo_ip.lookup(proxy).country
proxy_data = {"http" : "http://%s" % proxy_ip}
r = requests.head(url,proxies=proxyDict)
# Reliable?
status_for_locale = url : {'status' : r.status_code, 'locale' : proxy_locale}