FTP:如何处理挂起和恢复下载?

时间:2020-09-13 19:42:27

标签: python ftp keep-alive

我每6个小时左右通过ftp服务器定期下载一个〜300 Mb文件。大多数下载都运行良好,但有时该过程挂起,我需要手动终止并重新启动。因此,我想要一个更强大的下载系统,最好具有以下条件。

  1. 尽可能避免超时或挂起。并且可以在发生这种情况时对其进行处理
  2. 如果下载被终止,请尝试将其恢复几次直到完成(如果在任何尝试的时间内都无法使用,则发送错误消息)

对于(1),我读过this question,在所有块都下载完之前,最好将python线程与keep_alive调用一起使用。

def downloadFile(…):
    ftp = FTP(…)
    sock = ftp.transfercmd('RETR ' + filename)
    def background():
        f = open(…)
        while True:
            block = sock.recv(1024*1024)
            if not block:
                break
            f.write(block)
        sock.close()
    t = threading.Thread(target=background)
    t.start()
    while t.is_alive():
        t.join(60)
        ftp.voidcmd('NOOP')

对于(2),可能存在一个循环,用于检查文件是否已完全下载。如果没有,它可能会从原来的状态重新开始。基于this question

for i in range(3):
    if "Check if file has been completely downloaded":
        if os.path.exists(filename):
            restarg = {'rest': str(os.path.getsize(filename))}
        else:
            restarg = {}
        ftp.transfercmd("RETR " + filename, **restarg)

但是如何合并(1)和(2)? 您可以继续执行线程下载吗?有很多我们甚至不知道下载顺序的块。

如果无法将这两种方法结合使用,您还有其他想法吗?

此外,我不太确定如何确定ftp下载是否完成。我应该为此检查文件大小吗?文件大小可能会从一次下载更改为另一次下载。

0 个答案:

没有答案