Python FTP和Streams

时间:2015-04-29 16:05:34

标签: python ftp ftplib

我需要创建一个“转台”平台。我的服务器必须能够从FTP A获取文件并将其发送到FTP B.我做了很多文件传输系统,所以我对ftplib,aspera,s3和其他传输协议没有任何问题。

问题是我在FTP A上有大文件(150G)。许多传输将同时发生,从许多FTP服务器或其他FTP服务器发生。

我不希望我的平台实际存储这些文件,以便将它们发送到其他位置。我不想在内存中加载所有内容......我需要将二进制数据从A流“转换为B”,转移平台上的费用最少。

我正在使用ReadBuffer和WriteBuffer查看https://docs.python.org/2/library/io.html,但我找不到示例,文档对我来说很神秘......

任何人都有一个起点?

buff = io.open('/var/tmp/test', 'wb')

def loadbuff(data):
    buff.write(data)

self.ftp.retrbinary('RETR ' + name, loadbuff, blocksize=8)

所以我的数据是buff,这是< _io.BufferedWriter name ='/ var / tmp / test'>对象,但是当ftplib继续下载时如何从它开始读取?

希望我足够清楚,欢迎任何想法。

由于

0 个答案:

没有答案