Question

我有一个包含900万个http链接的列表，它们存储在lt

中

对于最低限度可重现的example：

我最初写了这个

cat = []
i=0
for l in lt:
    print(i)
    if re.search('.+videoStory.+', l):
        print('video')
        cat.append('video')
    else:
        response=requests.get(l,headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36', })
        if response.status_code == 200:
            bs = BeautifulSoup(response.content.decode('ascii', 'ignore'),'lxml')
            cat.append(bs.findAll('div', {'class':'ArticleHeader_channel_4KD-f'})[0].text)
        elif response.status_code == 404:
            print('404')
            cat.append('404')
        elif response.status_code == 500:
            print('500')
            cat.append('500')
        else:
            print(response.status_code)
            break
    i+=1

bs.findAll('div', {'class':'ArticleHeader_channel_4KD-f'})[0].text提取页面的类别。

此代码在1秒内成功完成了3个链接，这意味着需要花费900万才需要34.7天（通过仅花费大约需要5000个链接进行测试需要27分钟左右）

p = pool.Pool(1000)
yo= []
jobs=[]

def get_link(ul):
    if re.search('.+videoStory.+', ul):
        yo.append('video')
    else:
        r = requests.get(ul, headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36', })
        if r.status_code == 200:
            bs = BeautifulSoup(r.content.decode('ascii', 'ignore'),'lxml')
            crap = bs.findAll('div', {'class':'ArticleHeader_channel_4KD-f'})[0].text
            yo.append(crap)
        elif r.status_code == 404:
    #        print('404')
            yo.append('404')
        elif r.status_code == 500:
    #        print('500')
            yo.append('500')

startTime= datetime.now() 
for yum in lt:
     jobs.append(p.apply_async(get_link, args =(yum,)))

gevent.joinall(jobs)
timeElapsed=datetime.now()-startTime 
print('Time elpased (hh:mm:ss.ms) {}'.format(timeElapsed))

此代码在1秒内成功完成了5个链接，这意味着需要花费90万才需要花费20.8天（通过仅花费大约需要花费16分钟来测试这个链接）

直到花了太长时间。

应该尝试将concurrency设置为10000，这会有帮助吗？（也许路透社不会同时允许这么多）

我应该尝试并行处理吗？

Answer 1

根据这些信息，您应该能够运行代码的多个实例，这些实例从列表中的不同位置开始。

假设您运行了5个代码实例，每个代码都负责通过5,000个链接。因此，在一次运行中，您将覆盖25,000个链接。那对你来说大约30分钟。

比如说，实例＃1运行链接1-5000，当它的列表用尽时，它应该从第25,001个链接开始。因此，对于每个实例，您必须迭代它以从where_it_left + 25000链接运行。

让我们看看这里的数学。简单的例子： 5,000,000 links / 25,000 = 200 runs. 200 * 0.5 hour = 100 hours (~ 4-5 days)

如果一次可以运行超过5个代码实例，甚至可以进一步减少这种情况。

另一种更好的方法是使用一些网络抓取软件，如 HTTrack 。但是，您可能需要在其中进行大量配置才能根据您的需求获得结果。

Gevent Pool似乎没有提高性能

1 个答案: