使用python增量保存数据

Question

我正在研究一个正在生成大量数据的项目。我想要一种随时保存数据的方法，因此不必将其全部保存在RAM中。我目前正在使用numpy在程序完成时将所有内容保存在npz文件中。需要保存的内容是标量，列表和列表列表。列表中的值逐渐增加，因此我需要一种方法来附加到每个列表，而不必将所有内容都加载到内存中。

我对python还是有点陌生​​，所以如果有标准的方法可以将它指向这个方向。

谢谢

Answer 1

PyTables 是一个numpy友好的软件包，旨在将数据分页到磁盘上以对不适合内存的数据集进行操作。

请参阅：https://www.pytables.org/usersguide/tutorials.html

https://kastnerkyle.github.io/posts/using-pytables-for-larger-than-ram-data-processing/

用法

# Create a data-frame description (called a table)
# each attribute of Particle below is a column.
from tables import *
class Particle(IsDescription):
    name      = StringCol(16)   # 16-character String
    idnumber  = Int64Col()      # Signed 64-bit integer
    ADCcount  = UInt16Col()     # Unsigned short integer
    TDCcount  = UInt8Col()      # unsigned byte
    grid_i    = Int32Col()      # 32-bit integer
    grid_j    = Int32Col()      # 32-bit integer
    pressure  = Float32Col()    # float  (single-precision)
    energy    = Float64Col()    # double (double-precision)

# create a hdf5 file on disk to store data in
h5file = open_file("tutorial1.h5", mode="w", title="Test file")

# create a table within the file, using the Particle description class
table = h5file.create_table(group, 'readout', Particle, "Readout example")

性能

它对于跨许多数据行的计算特别有用。

PyTables支持Blosc（这是一个绝妙的技巧）

您可以使用blosc和where方法执行“内核中”查询。

result = [row['col2'] for row in table.where(
            '''(((col4 >= lim1) & (col4 < lim2)) |
               ((col2 > lim3) & (col2 < lim4)) &
               ((col1+3.1*col2+col3*col4) > lim5))''')]