Question

我有一个.h5文件，可以从中读取一些数据，以某种方式对其进行排序，然后将其保存到另一个.h5文件中。这是我的代码：

import h5py
import numpy as np
import pandas as pd

f = pd.read_hdf("input_file.h5")

dt = f.values

dt2 = np.transpose(np.transpose(dt)[0:2100])
dt3 = np.transpose(np.transpose(dt)[-1])
dt3 = dt3.reshape(1,len(dt3))

d2 = len(dt2[0])
d1 = len(dt2)

dt2 = dt2.reshape((len(dt2), len(dt2[0])//3, 3))
ordered_index = np.flip(dt2[:,:,0].argsort(),1)

dt2 = dt2[np.arange(len(dt2[:,:,0].argsort()))[:,None],ordered_index].reshape((d1,d2))
dt2 = np.transpose(dt2)

data = np.transpose(np.concatenate((dt2,dt3),axis=0))

df=pd.DataFrame(data=data[0:,0:], index=[i for i in range(data.shape[0])], columns=[str(i) for i in range(data.shape[1])])


hf = h5py.File('ordered_pt_data.h5', 'w')
hf.create_dataset('dataset_ordered_pt', data=df)
hf.close()

程序运行正常，当我打印新数据（即print(df)）时，一切看起来都很好（即，数据按我想要的方式排序），并且排序后的数据与输入数据具有相同的维数。但是，输入文件“ input_file.h5”具有2.6GB，而我创建的文件具有18GB。我究竟做错了什么？我是否需要传递一些额外的参数来进一步压缩数据？同样，输出文件包含与输入文件完全相同的数据（大小和类型，除非我在没有意识到的情况下更改了数据类型），只是顺序不同。谢谢！

Answer 1

您可以通过查看数据类型是否相同来开始调试：


# ...

print('f dtypes and memory usage')
print(f.info(memory_usage='deep'))


print('df dtypes and memory usage')
print(df.info(memory_usage='deep'))

检查内存使用情况：

# ...
print('f memory usage')
print(f.memory_usage(deep=True)

print('df memory')
print(df.memory_usage(deep=True))

如果所有内容都相同，即相同的数据类型，相同的行数和列数。然后是压缩问题。

根据文档，您可以按以下方式压缩数据

with h5py.File('ordered_pt_data.h5', 'w') as hf:
    hf.create_dataset('dataset_ordered_pt', data=df, compression="gzip", compression_opts=9)

有关更多选项和详细信息，请参见：doc

将文件压缩到.h5

1 个答案: