Question

我正在使用这种方法从一些http链接下载文件。这些文件的大小通常超过20 GB，并且该程序似乎可以正常运行，但是在完成之前，请移至下一个功能。

import urllib2
import os
def saveFile(url):
    print url
    file_name = url.split('/')[-1]
    #check if the file was already downloaded previously to save time
    if os.path.isfile(file_name):
        print("File already exists, skipping download...")
        return file_name
    u = urllib2.urlopen(url)
    f = open(file_name, 'wb')
    meta = u.info()
    file_size = int(meta.getheaders("Content-Length")[0])
    print "Downloading: %s Bytes: %s" % (file_name, file_size)

    file_size_dl = 0
    block_sz = 8192
    while True:
        buffer = u.read(block_sz)
        if not buffer:
            break

        file_size_dl += len(buffer)
        f.write(buffer)
        status = r"%10d  [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
        status = status + chr(8)*(len(status)+1)
        print status,    
    f.close()
    return file_name

Answer 1

您是否检查过流程管理器？也许内存已超出限制，发生了OutOfMemoryError。

为什么我的程序在完成完整下载之前就停止下载非常大的文件？

1 个答案: