使用具有MultiIndex的Pandas Dataframe读取大型CSV

时间:2019-07-15 10:02:47

标签: python pandas csv large-data

我对python很陌生,并有一个问题: 我想将具有数千行和数千列的大型CSV文件读入数据框,以执行多个矩阵操作。此数据框应具有一个Multiindex,并将CSV文件的前三列和前两行作为索引。但是,我的计算机无法在合理的时间内读取文件。

在读取CSV文件时,我尝试通过给它dtype = object来避免猜测数据类型。我知道可以将较小的块与块大小连接起来。但是我无法找到一种方法来保持我的索引。 非常感谢!

import pandas as pd 

A_inputData = pd.read_csv("A-Matrix.csv", sep=';', header= [0, 1], index_col = [0, 1, 2], dtype = object)

A_Matrix = A_inputData.astype(float)

0 个答案:

没有答案