使用多处理并行下载文件

Question

我有一个多处理功能正在下载一堆文件。但是，大约有20个错误与以下内容有关：

ContentTooShortError: retrieval incomplete

我用来下载文件的功能是：

def getter(url, dest):
    video_files.append(urllib.urlretrieve(url, dest)[0])

为什么会出现此错误，我该如何解决？

Answer 1

正如the documentation所述，当服务器（正常）关闭连接而不向您发送整个HTTP正文时会发生这种情况，如Content-Length所指定 - 它是服务器错误< /强>

您可以尝试修复它＆＃34;只需稍后重试即可。

由于您一次抓取了许多视频，服务器上的某些机制可能会检测并限制此类操作。尝试对您的请求进行评级，并查看问题是否仍然存在