在 Python 3.7 中,我使用URL
函数从urllib.request.urlretrieve(..)
下载了一个大文件。在文档(https://docs.python.org/3/library/urllib.request.html中,我在urllib.request.urlretrieve(..)
文档上方阅读了以下内容:
旧版界面
以下函数和类是从Python 2模块urllib(与urllib2相对)移植的。他们可能会在将来的某个时候被弃用。
为了使我的代码永不过时,我正在寻找一种替代方法。正式的Python文档未提及具体的文档,但看起来urllib.request.urlopen(..)
是最直接的候选人。在文档页面的顶部。
不幸的是,类似urlopen(..)
的替代项不提供reporthook
参数。此参数是可传递给urlretrieve(..)
函数的可调用对象。反过来,urlretrieve(..)
使用以下参数定期调用它:
我用它来更新进度条。这就是为什么我错过了reporthook
自变量的原因。
我发现 urlretrieve(..)
仅使用urlopen(..)
。请参阅Python 3.7安装中的request.py
代码文件(Python37 / Lib / urllib / request.py):
_url_tempfiles = []
def urlretrieve(url, filename=None, reporthook=None, data=None):
"""
Retrieve a URL into a temporary location on disk.
Requires a URL argument. If a filename is passed, it is used as
the temporary file location. The reporthook argument should be
a callable that accepts a block number, a read size, and the
total file size of the URL target. The data argument should be
valid URL encoded data.
If a filename is passed and the URL points to a local resource,
the result is a copy from local file to new file.
Returns a tuple containing the path to the newly created
data file as well as the resulting HTTPMessage object.
"""
url_type, path = splittype(url)
with contextlib.closing(urlopen(url, data)) as fp:
headers = fp.info()
# Just return the local path and the "headers" for file://
# URLs. No sense in performing a copy unless requested.
if url_type == "file" and not filename:
return os.path.normpath(path), headers
# Handle temporary file setup.
if filename:
tfp = open(filename, 'wb')
else:
tfp = tempfile.NamedTemporaryFile(delete=False)
filename = tfp.name
_url_tempfiles.append(filename)
with tfp:
result = filename, headers
bs = 1024*8
size = -1
read = 0
blocknum = 0
if "content-length" in headers:
size = int(headers["Content-Length"])
if reporthook:
reporthook(blocknum, bs, size)
while True:
block = fp.read(bs)
if not block:
break
read += len(block)
tfp.write(block)
blocknum += 1
if reporthook:
reporthook(blocknum, bs, size)
if size >= 0 and read < size:
raise ContentTooShortError(
"retrieval incomplete: got only %i out of %i bytes"
% (read, size), result)
return result
从这一切中,我看到三个可能的决定:
我保持我的代码不变。希望urlretrieve(..)
函数不会很快被弃用。
我为自己编写了一个替换功能,其外观类似于外部urlretrieve(..)
,内部则采用urlopen(..)
。实际上,这种功能将是上面代码的复制粘贴。与使用官方urlretrieve(..)
相比,这样做是不干净的。
我为自己编写了一个替换功能,其外部外观类似于urlretrieve(..)
,内部使用了完全不同的东西。但是,为什么我要这么做呢? urlopen(..)
没有被弃用,那么为什么不使用它呢?
您会做出什么决定?