使用python

Question

我设计了一个python程序，它将打开一个url并从该url获取电子邮件和数字等数据。 主要问题是它很慢，我想知道是否有办法提高从url获取数据的速度。

一些规格：

1. 程序在python中。
2. 我正在使用urllib2.open打开网址
3. beautifulsoup for search and fetching

  

opener = urllib2.build_opener（）   opener.addheaders = [（＆＃39; User-agent＆＃39;，＆＃39; Mozilla / 5.0＆＃39;）]

with open('Labgodata.csv') as csvfile:
        reader = csv.DictReader(csvfile)
        for line in reader:
            sleep(0.2)
            getdata(line['URL'])

Answer 1

你现在在做什么？没有看到你的程序到底做了什么，很难准确说出来。

但

一般情况下，尝试限制对网址的调用，如果从网页中获取大量数据会尝试同时抓取您需要的所有内容并将其保存到变量中，那么如果您进行多次调用则需要更少的时间从内存中获取它然后发出网页请求。