如何查找是否已使用python完全下载了文件？

Question

我们拥有一个python脚本，该脚本可以自动化从互联网下载的时间序列图像数据的批处理。当前脚本要求在执行之前下载所有数据。这会消耗更多时间。我们希望通过编写一个调度程序来修改脚本，该调度程序将在完全下载单个数据时调用该脚本。如何找到使用python完全下载的文件？

Answer 1

如果使用Python下载文件，则只需在文件下载操作完成后进行图像处理即可。使用requests的示例：

PUT

但是，使用上述顺序方法，您将花费大量时间等待远程服务器的响应。要使其更快，您可以使用aysncio和aiohttp一次下载并处理多个文件。 PawełMiech的博客帖子Making 1 million requests with python-aiohttp中很好地介绍了以这种方式下载文件。您所需的代码将类似于该博文底部的示例（带有信号灯的示例）。