Question

我想在python中从FTP下载多个文件。当我只下载1个文件时，我的代码可以工作，但不适用于多个文件！

import urllib
urllib.urlretrieve('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_package/00/00/PMC1790863.tar.gz', 'file1.tar.gz')
urllib.urlretrieve('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_package/00/00/PMC2329613.tar.gz', 'file2.tar.gz')

错误说：

Traceback (most recent call last):
  File "/home/ehsan/dev_center/bigADEVS-bknd/daemons/crawler/ftp_oa_crawler.py", line 3, in <module>
    urllib.urlretrieve('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/oa_package/00/00/PMC2329613.tar.gz', 'file2.tar.gz')
  File "/usr/lib/python2.7/urllib.py", line 98, in urlretrieve
    return opener.retrieve(url, filename, reporthook, data)
  File "/usr/lib/python2.7/urllib.py", line 245, in retrieve
    fp = self.open(url, data)
  File "/usr/lib/python2.7/urllib.py", line 213, in open
    return getattr(self, name)(url)
  File "/usr/lib/python2.7/urllib.py", line 558, in open_ftp
    (fp, retrlen) = self.ftpcache[key].retrfile(file, type)
  File "/usr/lib/python2.7/urllib.py", line 906, in retrfile
    conn, retrlen = self.ftp.ntransfercmd(cmd)
  File "/usr/lib/python2.7/ftplib.py", line 334, in ntransfercmd
    host, port = self.makepasv()
  File "/usr/lib/python2.7/ftplib.py", line 312, in makepasv
    host, port = parse227(self.sendcmd('PASV'))
  File "/usr/lib/python2.7/ftplib.py", line 830, in parse227
    raise error_reply, resp
IOError: [Errno ftp error] 200 Type set to I

我该怎么办？

Answer 1

这是python 2.7中urllib的错误。报告here。这背后的原因解释为here

现在，当用户尝试从中下载相同的文件或其他文件时同一目录，密钥（主机，端口，dirs）保持不变 open_ftp（）跳过ftp初始化。由于这个跳过，重新使用以前的FTP连接以及发送新命令时服务器，服务器首先发送先前的ACK。这会导致多米诺骨牌效果和每个响应延迟一个，我们得到一个例外来自parse227（）

一种可能的解决方案是清除之前调用可能已构建的缓存。您可以在urllib.urlcleanup()次来电之间使用urlretrieve方法调用相同的方法，如上所述here。

希望这有帮助！

从ftp下载第二个文件失败

1 个答案: