我有一个带有pandas MultiIndex的Dataframe:
In [1]: import pandas as pd
In [2]: multi_index = pd.MultiIndex.from_product([['CAN','USA'],['total']],names=['country','sex'])
In [3]: df = pd.DataFrame({'pop':[35,318]},index=multi_index)
In [4]: df
Out[4]:
pop
country sex
CAN total 35
USA total 318
然后我从该DataFrame中删除了一些行:
In [5]: df = df.query('pop > 100')
In [6]: df
Out[6]:
pop
country sex
USA total 318
但是当我咨询MutliIndex时,它仍然有两个国家的水平。
In [7]: df.index.levels[0]
Out[7]: Index([u'CAN', u'USA'], dtype='object')
我可以用一种相当奇怪的方式解决这个问题:
In [8]: idx_names = df.index.names
In [9]: df = df.reset_index(drop=False)
In [10]: df = df.set_index(idx_names)
In [11]: df
Out[11]:
pop
country sex
USA total 318
In [12]: df.index.levels[0]
Out[12]: Index([u'USA'], dtype='object')
但这看起来相当混乱。有没有更好的方法我错过了?
答案 0 :(得分:9)
这是以前咬过我的东西。出于性能和哲学原因,删除列或行不会更改基础MultiIndex,这正式不被视为错误(read more here)。简短的回答是,开发人员说"这不是MultiIndex的用途"。如果您需要修改后的MultiIndex级别的内容列表,例如迭代或检查是否包含某些内容,您可以使用:
df.index.get_level_values(<levelname>)
这将返回该索引级别内的当前活动值。
所以我想&#34;技巧&#34;这是API本机的方式是使用get_level_values而不仅仅是.index或.columns
答案 1 :(得分:8)
从版本0.20.0使用MultiIndex.remove_unused_levels
:
print (df.index)
MultiIndex(levels=[['CAN', 'USA'], ['total']],
labels=[[1], [0]],
names=['country', 'sex'])
df.index = df.index.remove_unused_levels()
print (df.index)
MultiIndex(levels=[['USA'], ['total']],
labels=[[0], [0]],
names=['country', 'sex'])
答案 2 :(得分:0)
如果有一种更“内置”的方式来消除未使用的国家而不是以你正在做的方式(或类似的方式)重新创建索引,我会感到惊讶。如果你在切片之前和之后查看索引:
In [165]: df.index
Out[165]:
MultiIndex(levels=[[u'CAN', u'USA'], [u'total']],
labels=[[0, 1], [0, 0]],
names=[u'country', u'sex'])
In [166]: df = df.query('pop > 100')
In [167]: df.index
Out[167]:
MultiIndex(levels=[[u'CAN', u'USA'], [u'total']],
labels=[[1], [0]],
names=[u'country', u'sex'])
您可以看到标签 - 它们是级别值的索引 - 已更新但未更新级别值。这可能是一个不完美的类比,但它让我觉得级别值类似于数据库表中的枚举列,而标签类似于表中行的实际值。如果删除表中值为“CAN”的所有行,则不会根据列定义更改“CAN”仍然是有效选择的事实。要从枚举中删除“CAN”,您必须更改列定义;这相当于重新编译pandas中的数据帧。