如何构建内存中虚拟文件系统,然后将此结构写入磁盘

时间:2018-07-24 22:05:59

标签: python python-3.x filesystems vfs virtualfilesystem

我正在寻找一种在Python中创建目录和文件的虚拟文件系统的方法,然后再将这些目录和文件写入磁盘。

使用PyFilesystem,我可以使用以下命令构建一个内存文件系统:

>>> import fs
>>> dir = fs.open_fs('mem://')
>>> dir.makedirs('fruit')
SubFS(MemoryFS(), '/fruit')
>>> dir.makedirs('vegetables')
SubFS(MemoryFS(), '/vegetables')
>>> with dir.open('fruit/apple.txt', 'w') as apple: apple.write('braeburn')
... 
8
>>> dir.tree()
├── fruit
│   └── apple.txt
└── vegetables

理想情况下,我希望能够执行以下操作:

dir.write_to_disk('<base path>')

要将此结构写入磁盘,其中<base path>是将在其中创建此结构的父目录。

据我所知,PyFilesystem无法实现这一目标。还有什么我可以代替的,还是我必须自己实现?

2 个答案:

答案 0 :(得分:3)

您可以使用fs.copy.copy_fs()从一个文件系统复制到另一文件系统,或使用fs.move.move_fs()完全移动文件系统。

鉴于PyFilesystem还在基础系统文件系统OSFS周围进行了抽象-实际上,它是默认协议,您所需要的只是将内存文件系统(MemoryFS)复制到其中,并且实际上,您会将其写入磁盘:

import fs
import fs.copy

mem_fs = fs.open_fs('mem://')
mem_fs.makedirs('fruit')
mem_fs.makedirs('vegetables')
with mem_fs.open('fruit/apple.txt', 'w') as apple:
    apple.write('braeburn')

# write to the CWD for testing...
with fs.open_fs(".") as os_fs:  # use a custom path if you want, i.e. osfs://<base_path>
    fs.copy.copy_fs(mem_fs, os_fs)

答案 1 :(得分:0)

如果只想在内存中暂存文件系统树,请查看[tarfile模块)[https://docs.python.org/3/library/tarfile.html]

创建文件和目录有点麻烦:

tarblob = io.BytesIO()
tar = tarfile.TarFile(mode="w", fileobj=tarblob)
dirinfo = tarfile.TarInfo("directory")
dirinfo.mode = 0o755
dirinfo.type = tarfile.DIRTYPE
tar.addfile(dirinfo, None)

filedata = io.BytesIO(b"Hello, world!\n")
fileinfo = tarfile.TarInfo("directory/file")
fileinfo.size = len(filedata.getbuffer())
tar.addfile(fileinfo, filedata)
tar.close()

但是您可以使用TarFile.extractall创建文件系统层次结构:

tarblob.seek(0) # Rewind to the beginning of the buffer.
tar = tarfile.TarFile(mode="r", fileobj=tarblob)
tar.extractall()