Question

我正在尝试在文件的单独部分中读取带有分层索引的空格分隔文件。这就是我想出的：

import pandas as pd
o = open(doc, 'rU')
for i in o:
    if i.startswith("DATA="):
        meta_ends=o.tell() + 5
        break
dp = pd.read_table(o, delim_whitespace=True, 
  lineterminator='\n', header=None, index_col=None)

文件如下所示：

 META (the exact structure is probably not relevant for this example)
 DATA=1 2 3 4
 5 6 7 9
 10 11 12 13

数据以空格分隔列和换行符分隔行。

我为pd.MultiIndex.from_arrays创建了行和列的MultiIndexes，我将其单独解析。这就是我应该最终得到的结果：

                               Column 1                Column 2
Row label 1 Row label 2
Koko maa    1989               2008231.0               4891866.0   
            1990               2036693.0               4924388.0   
Akaa        1989                  6436.0                 15637.0   
            1990                  6548.0                 15775.0   
Alajärvi    1989                  3777.0                 11653.0   
            1990                  3831.0                 11747.0

我之前的方法是将数据部分读取到内存中，然后像这样创建一个DataFrame：

col_index = pd.MultiIndex.from_arrays(cols)
row_index = pd.MultiIndex.from_arrays(rows)
return pd.DataFrame(data, index=row_index, columns=col_index)

使用500Mb +数据和5M行标签以及50多列Pandas读取所有可用内存（16Gt with swap，这不起作用）。使用read_table，我可以通过只读取一次数据部分来节省内存。

我的问题是如何将行和列的MultiIndexes设置为现有的DataFrame？

或者有没有办法给read_table一个外部MultiIndex？

Answer 1

您可以使用

设置事后的列和行索引

df.index = row_index
df.columns = col_index

例如，

import pandas as pd
import io

content = '''\
    176.792 -2.30523 0.430772 32016 1 1 2
    177.042 -1.87729 0.430562 32016 1 1 1
    177.047 -1.54957 0.431853 31136 1 1 1
    177.403 -0.657246 0.432905 31152 1 1 1
'''
df = pd.read_table(io.BytesIO(content), sep='\s+', header=None)
arrays = [['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux'],
          ['one', 'two', 'one', 'two', 'one', 'two', 'one', 'two']]
tuples = zip(*arrays)
row_index = pd.MultiIndex.from_tuples(tuples[:len(df)])
col_index = pd.MultiIndex.from_tuples(tuples[:len(df.columns)])
df.index = row_index
df.columns = col_index
print(df)

产量

             bar                 baz         foo       qux
             one       two       one    two  one  two  one
bar one  176.792 -2.305230  0.430772  32016    1    1    2
    two  177.042 -1.877290  0.430562  32016    1    1    1
baz one  177.047 -1.549570  0.431853  31136    1    1    1
    two  177.403 -0.657246  0.432905  31152    1    1    1

具有单独索引和数据的MultiIndex和read_table

1 个答案: