在切片DataFrame后如何更新pandas MultiIndex的级别?

时间:2015-02-27 19:08:43

标签: python pandas

我有一个带有pandas MultiIndex的Dataframe:

In [1]: import pandas as pd
In [2]: multi_index = pd.MultiIndex.from_product([['CAN','USA'],['total']],names=['country','sex'])
In [3]: df = pd.DataFrame({'pop':[35,318]},index=multi_index)
In [4]: df
Out[4]:
               pop
country sex
CAN     total   35
USA     total  318

然后我从该DataFrame中删除了一些行:

In [5]: df = df.query('pop > 100')

In [6]: df
Out[6]:
               pop
country sex
USA     total  318

但是当我咨询MutliIndex时,它仍然有两个国家的水平。

In [7]: df.index.levels[0]
Out[7]: Index([u'CAN', u'USA'], dtype='object')

我可以用一种相当奇怪的方式解决这个问题:

In [8]: idx_names = df.index.names

In [9]: df = df.reset_index(drop=False)

In [10]: df = df.set_index(idx_names)

In [11]: df
Out[11]:
               pop
country sex
USA     total  318

In [12]: df.index.levels[0]
Out[12]: Index([u'USA'], dtype='object')

但这看起来相当混乱。有没有更好的方法我错过了?

3 个答案:

答案 0 :(得分:9)

这是以前咬过我的东西。出于性能和哲学原因,删除列或行不会更改基础MultiIndex,这正式不被视为错误(read more here)。简短的回答是,开发人员说"这不是MultiIndex的用途"。如果您需要修改后的MultiIndex级别的内容列表,例如迭代或检查是否包含某些内容,您可以使用:

df.index.get_level_values(<levelname>)

这将返回该索引级别内的当前活动值。

所以我想&#34;技巧&#34;这是API本机的方式是使用get_level_values而不仅仅是.index或.columns

答案 1 :(得分:8)

从版本0.20.0使用MultiIndex.remove_unused_levels

print (df.index)
MultiIndex(levels=[['CAN', 'USA'], ['total']],
           labels=[[1], [0]],
           names=['country', 'sex'])

df.index = df.index.remove_unused_levels()

print (df.index)
MultiIndex(levels=[['USA'], ['total']],
           labels=[[0], [0]],
           names=['country', 'sex'])

答案 2 :(得分:0)

如果有一种更“内置”的方式来消除未使用的国家而不是以你正在做的方式(或类似的方式)重新创建索引,我会感到惊讶。如果你在切片之前和之后查看索引:

In [165]: df.index
Out[165]:
MultiIndex(levels=[[u'CAN', u'USA'], [u'total']],
           labels=[[0, 1], [0, 0]],
           names=[u'country', u'sex'])

In [166]: df = df.query('pop > 100')

In [167]: df.index
Out[167]:
MultiIndex(levels=[[u'CAN', u'USA'], [u'total']],
           labels=[[1], [0]],
           names=[u'country', u'sex'])

您可以看到标签 - 它们是级别值的索引 - 已更新但未更新级别值。这可能是一个不完美的类比,但它让我觉得级别值类似于数据库表中的枚举列,而标签类似于表中行的实际值。如果删除表中值为“CAN”的所有行,则不会根据列定义更改“CAN”仍然是有效选择的事实。要从枚举中删除“CAN”,您必须更改列定义;这相当于重新编译pandas中的数据帧。