在多处理.Pool中调用时,requests.get挂起

时间:2014-09-20 00:00:20

标签: python performance optimization multiprocessing python-requests

我有以下代码:

def process_url(url):
    print '111'
    r = requests.get(url)
    print '222' # <-- never even gets here
    return


urls_to_download = [list_or_urls]
PARALLEL_WORKERS = 4

pool = Pool(PARALLEL_WORKERS)
pool.map_async(process_url, urls_to_download)
pool.close()
pool.join()

每次我执行此操作时,它会运行前四项然后挂起。我不认为这是一个超时问题,因为下载这四个网址的速度非常快。它刚刚取得前四个,它无限期地挂起。

我需要做些什么才能解决这个问题?

0 个答案:

没有答案