Question

我想同时从互联网上下载文件并将其上传到保管箱。我正在将文件下载为大块，在完成每个大块之后，我希望将其上传到保管箱。

import multiprocessing as m
import requests as rr
import dropbox
url='http://www.onirikal.com/videos/mp4/battle_games.mp4'
db=dropbox.Dropbox(Accesstoken)
def d(url):
    r=rr.get(url,stream=True)
    with open('file.mp4','wb')as f:
        for a in r.iter_content(chunk_size=1000000):
            if a:
                f.write('')
                f.write(a)

def u():
    try:
        with open('file.mp4','rb')as ff:
            db.files_upload(ff.read(),'/file.mp4')
    except FileNotFoundError:
        pass
if __name__=='__main__':
    p=m.Pool()
    re= p.apply_async(d,[url])
    ree=p.apply_async(u)
    re.get(timeout=10)
    ree.get(timeout=10)

但是上传的文件的大小为0byte

编辑

我正在使用f.write('')来节省服务器空间，因为我只有512mb的存储空间

Answer 1

您不应为此使用多重处理。取而代之的是，只需按已完成的步骤下载块，然后立即调用upload_chunk(a, len(a), offset, upload_id)。您不需要磁盘上的临时文件。

Answer 2

我认为您可以做这样的事情

r=rr.get(url,stream=True)
db.files_upload(r.content,'/file.mp4')

直接上传而不创建文件。如果您想作为流或成块上传，我想您需要执行以下操作：

from io import BytesIO
import requests
import dropbox

client = dropbox.client.DropboxClient(access_token)

r = requests.get(url, stream=True)
with BytesIO(r.content) as bytes_stream:
    client.get_chunked_uploader(bytes_stream, len(r.content))
    while uploader.offset < len(r.content):
        try:
            upload = uploader.upload_chunked()
        except dropbox.rest.ErrorResponse, e:
            # perform error handling and retry logic
    uploader.finish('/file.mp4')

我无法验证任何一种方法，因为当前无法安装Dropbox模块，因此您可能需要进行一些调整。

Python3：如何使dropbox.files_upload（）保持活动状态。那么要同时下载和上传吗？

2 个答案: