我正在研究一种脚本,该脚本检查特定有效性类型上的65.000个链接。由于来自服务器的响应时间较慢,并且必须处理多个处理的链接。
常规设置如下:
function x(element):
""" take a link, requests.get content and operate on content, return a tuple
with the operation results. """
函数x使用的元素/ URL来自文本文件。我使用如下功能:
ce_url_results = process.map(function x, url_list)
问题:有时存在随机连接问题。如果发生这种情况,异常将杀死脚本。我可以在给出的第二个代码块周围捕获异常,然后重试,但是我想避免对所有65.000个链接重试整个步骤。感谢所有的灵感或直截了当的解决方案。