Question

我想在FTP服务器上存储的压缩gz文件中检索数据，而无需将该文件写入本地档案。

目前我已经完成

from ftplib import FTP
import gzip

ftp = FTP('ftp.server.com')
ftp.login()  
ftp.cwd('/a/folder/')

fileName = 'aFile.gz'

localfile = open(fileName,'wb')
ftp.retrbinary('RETR '+fileName, localfile.write, 1024)

f = gzip.open(localfile,'rb')
data = f.read()

但是，这会将文件“ localfile”写入当前存储。

我试图在此更改

from ftplib import FTP
import zlib

ftp = FTP('ftp.server.com')
ftp.login()  
ftp.cwd('/a/folder/')

fileName = 'aFile.gz'

data = ftp.retrbinary('RETR '+fileName, zlib.decompress, 1024)

但是，ftp.retrbinary不会输出其回调的输出。有办法吗？

Answer 1

一个简单的实现是：

将文件下载到类似文件的内存中对象，例如BytesIO;
将其传递给GzipFile constructor的fileobj参数。

import gzip
from io import BytesIO
import shutil
from ftplib import FTP

ftp = FTP('ftp.example.com')
ftp.login('username', 'password')

flo = BytesIO()

ftp.retrbinary('RETR /remote/path/archive.tar.gz', flo.write)

flo.seek(0)

with open('archive.tar', 'wb') as fout, gzip.GzipFile(fileobj = flo) as gzip:
    shutil.copyfileobj(gzip, fout)

以上将整个.gz文件加载到内存中。大型文件可能效率低下。一个更聪明的实现将改为流式传输数据。但这可能需要实现一个智能的自定义文件状对象。

另请参阅Get files names inside a zip file on FTP server without downloading whole archive。

从FTP服务器上的gz文件检索数据，而无需在本地写入

1 个答案: