如何确定文件是否已在python中完成下载

Question

我有一个名为raw_files的文件夹。来自多个来源的非常大的文件（~100GB文件）将上传到此文件夹。

我需要从已完成上传到该文件夹​​的视频中获取文件信息。确定文件当前是否正在下载到文件夹（通过）或视频是否已完成下载（运行脚本）的最佳方法是什么？谢谢。

Answer 1

最可靠的方法是尽可能修改上传软件。

典型的方案是首先将每个文件上传到同一文件系统上的临时目录，然后在上传完成后移动到最终位置。这种“移动”操作既便宜又原子。

此主题的变体是以临时名称（例如file.dat.incomplete而不是file.dat）上传每个文件，然后重命名。您的脚本只需要跳过名为*.incomplete的文件。

Answer 2

如果您检查这些文件，请将文件大小存储在某处。当你在下一轮并且文件大小仍然相同时，你几乎可以认为它们已经完成（取决于第一次和第二次检查之间的时间）。时间间隔可以是例如设置为上传服务的超时间隔（FTP，无论如何）。

没有特殊标志或内容显示文件已完整。