熊猫无法正确将csv转换为hdf5?

时间:2019-11-20 23:43:06

标签: python pandas csv hdf5

我正在处理大型csv文件,并尝试将其转换为hdf5格式。当我尝试使用HDFviewer查看输出时,我得到的是这种奇怪的分段输出,它包含多个数据集,而不是我在其他人的hdf5文件中看到的一个很好的内聚数据集。当我尝试打开block2值时,它将使我尝试打开它的应用程序崩溃。附件是hdfviewer打开我用熊猫生成的hdf5文件的照片。

dataset is split into several blocks and the header and index are on axis=1, and axis=0

具有int,string(object)和float类型的标头(col1,col2,col3)的数据集示例:

+------+------+-------+-----+
| Col1 | Col2 | Col3  | ... |
+------+------+-------+-----+
|    1 | 0x00 | 100.1 | ... |
|    2 | 0x00 | 100.3 | ... |
|    3 | 0x00 | 132.3 | ... |
+------+------+-------+-----+

示例代码csv-> hdf5:

df = pd.DataFrame()
df = pd.read_csv(csv_file)
df.to_hdf('example.h5', '/data', complib='zlib', complevel=9)

这是怎么回事?

编辑:为了澄清,我可以使用pd.read_hdf()在python中很好地打开生成的.h5文件...但是,诸如JMP和hdfview之类的应用程序会显示我已附加的图像,并且无法正确打开它甚至崩溃。

编辑:好的,我知道为什么Pandas将我的数据集拆分为三个数据集:因为分组相同类型的数据集效率更高,所以block0是int类型,block1类型为float,block2类型为string的数据集。但是,当我尝试打开block2时,它将冻结hdfviewer。而且block2甚至不会显示在JMP上。

编辑:好吧,我认为我发现了造成音色障碍的原因,但是我不知道该如何解决

这是一个示例数据集:

+------+-------+-------+
|      | Col1  | Col2  |
+------+-------+-------+
|    0 | hello | the     | 
|    2 | world | computer| 
|    3 | lol   | is      | 
+------+------+----------+

以下是转换为hdf5时的输出:

(128, 4, 149, 185, 0, 0, 0, 0, 0, 0, 0, 140, 21, 110, 117, 109, 112, 121, 46, 99, 111, 114, 101, 46, 109, 117, 108, 116, 105, 97, 114, 114, 97, 121, 148, 140, 12, 95, 114, 101, 99, 111, 110, 115, 116, 114, 117, 99, 116, 148, 147, 148, 140, 5, 110, 117, 109, 112, 121, 148, 140, 7, 110, 100, 97, 114, 114, 97, 121, 148, 147, 148, 75, 0, 133, 148, 67, 1, 98, 148, 135, 148, 82, 148, 40, 75, 1, 75, 3, 75, 2, 134, 148, 104, 3, 140, 5, 100, 116, 121, 112, 101, 148, 147, 148, 140, 2, 79, 52, 148, 75, 0, 75, 1, 135, 148, 82, 148, 40, 75, 3, 140, 1, 124, 148, 78, 78, 78, 74, 255, 255, 255, 255, 74, 255, 255, 255, 255, 75, 63, 116, 148, 98, 136, 93, 148, 40, 140, 5, 104, 101, 108, 108, 111, 148, 140, 3, 116, 104, 101, 148, 140, 5, 119, 111, 114, 108, 100, 148, 140, 8, 99, 111, 109, 112, 117, 116, 101, 114, 148, 140, 3, 108, 111, 108, 148, 140, 2, 105, 115, 148, 101, 116, 148, 98, 46)

现在运行一个ascii->文本转换器,它显示:

¹numpy.core.multiarray_reconstructnumpyndarrayKCbR(KKKhdtypeO4KKR(K|NNNJÿÿÿÿJÿÿÿÿK?tb](hellotheworldcomputerlolisetb

因此它将实际的python代码写入hdf5文件并破坏了所有内容。这是熊猫的虫子吗?

1 个答案:

答案 0 :(得分:0)

请参阅问题#29780 .to_hdf5()pandas函数支持内部使用。将尝试附加到表并报告发生的情况。