在Python中使用multiprocessing和map()时,如何避免开始整个迭代?

时间:2018-08-01 08:58:42

标签: python exception-handling multiprocessing python-multiprocessing

我正在研究一种脚本,该脚本检查特定有效性类型上的65.000个链接。由于来自服务器的响应时间较慢,并且必须处理多个处理的链接。

常规设置如下:

function x(element): 
    """ take a link, requests.get content and operate on content, return a tuple 
     with the operation results. """

函数x使用的元素/ URL来自文本文件。我使用如下功能:

ce_url_results = process.map(function x, url_list)

问题:有时存在随机连接问题。如果发生这种情况,异常将杀死脚本。我可以在给出的第二个代码块周围捕获异常,然后重试,但是我想避免对所有65.000个链接重试整个步骤。感谢所有的灵感或直截了当的解决方案。

0 个答案:

没有答案