Question

我正在从一个经常在文件传输过程中超时的片状FTP服务器下载文件，我想知道是否有办法重新连接并恢复下载。我正在使用python的ftplib。这是我正在使用的代码：

#! /usr/bin/python

import ftplib
import os
import socket
import sys

#--------------------------------#
# Define parameters for ftp site #
#--------------------------------#
site           = 'a.really.unstable.server'
user           = 'anonymous'
password       = 'someperson@somewhere.edu'
root_ftp_dir   = '/directory1/'
root_local_dir = '/directory2/'

#---------------------------------------------------------------
# Tuple of order numbers to download. Each web request generates 
# an order numbers
#---------------------------------------------------------------
order_num = ('1','2','3','4')

#----------------------------------------------------------------#
# Loop through each order. Connect to server on each loop. There #
# might be a time out for the connection therefore reconnect for #
# every new ordernumber                                          #
#----------------------------------------------------------------#
# First change local directory
os.chdir(root_local_dir)

# Begin loop through 
for order in order_num:

    print 'Begin Proccessing order number %s' %order

    # Connect to FTP site
    try:
        ftp = ftplib.FTP( host=site, timeout=1200 )
    except (socket.error, socket.gaierror), e:
        print 'ERROR: Unable to reach "%s"' %site
        sys.exit()

    # Login
    try:
        ftp.login(user,password)
    except ftplib.error_perm:
        print 'ERROR: Unable to login'
        ftp.quit()
        sys.exit()

    # Change remote directory to location of order
    try:
        ftp.cwd(root_ftp_dir+order)
    except ftplib.error_perm:
        print 'Unable to CD to "%s"' %(root_ftp_dir+order)
        sys.exit()

    # Get a list of files
    try:
        filelist = ftp.nlst()
    except ftplib.error_perm:
        print 'Unable to get file list from "%s"' %order
        sys.exit()

    #---------------------------------#
    # Loop through files and download #
    #---------------------------------#
    for each_file in filelist:

        file_local = open(each_file,'wb')

        try:
            ftp.retrbinary('RETR %s' %each_file, file_local.write)
            file_local.close()
        except ftplib.error_perm:
            print 'ERROR: cannot read file "%s"' %each_file
            os.unlink(each_file)

    ftp.quit()

    print 'Finished Proccessing order number %s' %order

sys.exit()

我得到的错误：socket.error：[Errno 110]连接超时

非常感谢任何帮助。

Answer 1

仅使用标准工具（参见RFC959）通过FTP恢复下载需要使用块传输模式（第3.4.2节），可以使用MODE B命令设置。虽然从技术上说这个功能是符合规范的，但我不确定所有的FTP服务器软件都能实现它。

在块传输模式中，与流传输模式相反，服务器以块的形式发送文件，每个块具有标记。可以将此标记重新提交给服务器以重新启动失败的传输（第3.5节）。

规范说：

[...]提供重启过程以保护用户免受严重的系统故障（包括主机，FTP进程或底层网络的故障）。

但是，AFAIK规范没有为标记定义所需的生命周期。它只说以下内容：

标记信息仅对发送方有意义，但必须包含控制连接（ASCII或EBCDIC）的默认或协商语言中的可打印字符。标记可以表示位计数，记录计数或系统可以通过其识别数据检查点的任何其他信息。如果数据接收器实现了重启过程，则会在接收系统中标记该标记的相应位置，并将该信息返回给用户。

应该可以安全地假设实现此功能的服务器将提供在FTP会话之间有效的标记，但您的里程可能会有所不同。

Answer 2

要做到这一点，你必须保持中断的下载，然后找出你缺少的文件部分，下载这些部分，然后将它们连接在一起。我不知道该怎么做，但有一个Firefox和Chrome的下载管理器叫做DownThemAll就可以做到这一点。虽然代码不是用python编写的（我认为它是JavaScript），但你可以查看代码并看看它是如何做到的。

DownThemll - http://www.downthemall.net/

Answer 3

使用 Python ftplib 实现可恢复 FTP 下载的简单示例：

def connect():

ftp = None

with open('4gb', 'wb') as f:
    while (not finished):
        if ftp is None:
            print("Connecting...")
            FTP(host, user, passwd)

        try:
            rest = f.tell()
            if rest == 0:
                rest = None
                print("Starting new transfer...")
            else:
                print(f"Resuming transfer from {rest}...")
            ftp.retrbinary('RETR 4gb', f.write, rest=rest)
            print("Done")
            finished = True
        except Exception as e:
            ftp = None
            sec = 5
            print(f"Transfer failed: {e}, will retry in {sec} seconds...")
            time.sleep(sec)

更细粒度的异常处理是可取的。

同样适用于上传：
Handling disconnects in Python ftplib FTP transfers file upload

超时后恢复FTP下载

3 个答案: