简单的脚本运行速度很慢

时间:2015-06-01 10:33:53

标签: python urllib2

我写了这个简单的脚本来检查一组比特币地址是否有交易。但是我认为它的运行速度非常慢,因为它每秒处理2次或多或少。该文件有超过6万个地址,所以...这将永远![/ p>

可以吗?

import urllib2

f = open('bc', 'r')
output = open('output', 'w')

n = 1
for bc in f:
    url = "https://blockchain.info/address/" + bc
    aux = urllib2.urlopen(url).read()    
    print n
    if int(aux[aux.find("<td id=\"n_transactions\">") + 24]) > 0:
        text = str(n) + ' -- ' + bc
        output.write(text)
    n = n + 1

output.close()
f.close()

2 个答案:

答案 0 :(得分:3)

您正在为文件中的每个实例打开一个URL ...它需要时间来加载请求,执行查找,然后写入文件。您正在加载网页60,000次......这需要一段时间。

不一定是脚本错误,它也是您的连接,网站的速度等等。您处理数据的能力很多变量。

答案 1 :(得分:0)

我没有看到脚本有任何问题。每次页面加载操作都会对输出渲染时间产生影响。

也许为什么不考虑某种类型的库来执行此操作。

查看Python的PANDAS - pandas.pydata.org是否可以为您提供帮助。 PANDAS将带来的最大好处是它可以非常有效地用于合并多个文件并集中执行操作。通过这种方式,您可以减少页面执行,从而进一步加快脚本运行速度。