Question

我有一个非常大的CSV文件（〜12Gb），看起来像这样：

posX，posY，posZ，eventID，parentID，clockTime -117.9853515625,60.2998046875,0.29499998688697815,0,0,0 -117.9853515625,60.32909393310547,0.29499998688697815,0,0,0 -117.9560546875,60.2998046875,0.29499998688697815,0,0,0 -117.9560546875,60.32909393310547,0.29499998688697815,0,0,0 -117.92676544189453,60.2998046875,0.29499998688697815,0,0,0 -117.92676544189453,60.32909393310547,0.29499998688697815,0,0,0 -118.04051208496094,60.34012985229492,4.474999904632568,0,0,0 -118.04051208496094,60.36941909790039,4.474999904632568,0,0,0 -118.04051208496094,60.39870834350586,4.474999904632568,0,0,0

我想使用库h5py将此CSV文件转换为HDF5格式，同时还要通过设置字段/索引类型i.G来减小文件的总大小。说：

将posX，posY和posZ保存为float32。将eventID，parentID和clockTime保存为int32或类似的内容。

注意：读入数据时，我需要以某种形式对数据进行分块，以避免内存错误。

但是我无法获得理想的结果。到目前为止我尝试过的是：按照本指南使用熊猫自己的方法：How to write a large csv file to hdf5 in python? 这样就创建了文件，但是我无法以某种方式更改类型，并且文件仍然太大（〜10.7Gb）。字段类型为float64和int64。

我还尝试在使用增量之前将CSV分成多个部分（使用split -n x myfile.csv）。我在每个文件的开头和结尾都遇到了一些数据错误，可以通过使用sed删除这些行来修复这些文件。然后我尝试了以下代码：

import pandas as pd
import h5py

PATH_csv = "/home/MYNAME/Documents/Workfolder/xaa" #xaa is my csv increment
DATA_csv = pd.read_csv(PATH_csv)

with h5py.File("pct_data-hdf5.h5", "a") as DATA_hdf:
    dset = DATA_hdf.create_dataset("posX", data=DATA_csv["posX"], dtype="float32")

可悲的是，这创建了文件和表，但没有向其中写入任何数据。

期望创建一个包含大型CSV文件数据的HDF5文件，同时还要更改每个索引的变量类型。

如果不清楚，请向我澄清。我还是个初学者！

Answer 1

您是否考虑过numpy模块？它具有方便的功能（genfromtxt），可将带标题的CSV数据读取到Numpy数组中。您定义dtype。该数组适合使用h5py.create_dataset()函数加载到HDF5中。

请参见下面的代码。我提供了2条打印声明。第一个显示从CSV标头创建的dtype名称。第二部分显示了如何通过字段（列）名称访问numpy数组中的数据。

import h5py
import numpy as np

PATH_csv = 'SO_55576601.csv'
csv_dtype= ('f8', 'f8', 'f8', 'i4', 'i4', 'i4' )

csv_data = np.genfromtxt(PATH_csv, dtype=csv_dtype, delimiter=',', names=True)

print (csv_data.dtype.names)
print (csv_data['posX'])

with h5py.File('SO_55576601.h5', 'w') as h5f:
    dset = h5f.create_dataset('CSV_data', data=csv_data)

h5f.close()

通过使用h5py

1 个答案: