读取当前正在写入的gzip文件

时间:2011-04-29 08:48:29

标签: python file io gzip

我的程序执行了大量的文件处理,而且由于文件很大,我更喜欢将它们编写为GZIP。一个挑战是我经常需要在编写文件时读取文件。如果没有GZIP压缩,这不是问题,但是当压缩打开时,读取会抱怨CRC失败,我认为这可能与压缩信息在写入时没有正确刷新有关。有没有办法在Python中使用GZIP,这样当我写入并刷新文件(但不一定关闭文件)时,它也可以被读取?

1 个答案:

答案 0 :(得分:0)

我认为将数据刷新到文件(压缩)只是将数据写入文件,但标题只写在close()上,因此您需要先关闭文件,然后才能打开它并阅读全部文件你需要的数据。如果您需要编写大型数据ammounts,您可以尝试使用数据库,例如 PostgreSQL MySQL ,您可以在其中指定带压缩的表(存档,压缩),您将能够将数据插入表中并读取数据库,数据库软件将为您完成所有工作(压缩,插入时解压缩,选择)。