基于MultiIndex的多个级别从DataFrame中选择

时间:2018-12-05 07:34:50

标签: python-3.x pandas multi-index

当N> 2时,如何扩展基于前N-1个级别从DataFrame中进行选择的逻辑?

例如,考虑一个DataFrame:

midx = pd.MultiIndex.from_product([[0, 1], [10, 20, 30], ["a", "b"]])
df = pd.DataFrame(1, columns=midx, index=np.arange(3))
In[11]: df
Out[11]: 
   0                 1               
  10    20    30    10    20    30   
   a  b  a  b  a  b  a  b  a  b  a  b
0  1  1  1  1  1  1  1  1  1  1  1  1
1  1  1  1  1  1  1  1  1  1  1  1  1
2  1  1  1  1  1  1  1  1  1  1  1  1

在这里,很容易选择第一级中0或1的列:

df[[0, 1]]

但是相同的逻辑并不能扩展到选择第一级为0或1以及第二级为10或20的列:

In[13]: df[[(0, 10), (0, 20), (1, 10), (1, 20)]]
ValueError: operands could not be broadcast together with shapes (4,2) (3,) (4,2)

以下作品:

df.loc[:, pd.IndexSlice[[0, 1], [10, 20], :]]

但是很麻烦,尤其是当需要从另一个具有2级MultiIndex的DataFrame中提取选择器时:

idx = df.columns.droplevel(2)
In[16]: idx
Out[16]: 
MultiIndex(levels=[[0, 1], [10, 20, 30]],
           labels=[[0, 0, 0, 0, 0, 0, 1, 1, 1, ... 1, 2, 2]])
In[17]: df[idx]
ValueError: operands could not be broadcast together with shapes (12,2) (3,) (12,2) 

编辑:理想情况下,我还希望能够以此方式对列进行排序,而不仅仅是选择它们-再次本着df[[1, 0]]的精神,能够根据以下内容对列进行排序第一级别。

1 个答案:

答案 0 :(得分:0)

如果可能,您可以使用boolean indexingget_level_valuesisin进行过滤:

m1 = df.columns.get_level_values(0).isin([0,1])
m2 = df.columns.get_level_values(1).isin([10,20])

print (m1)
[ True  True  True  True  True  True  True  True  True  True  True  True]
print (m2)
[ True  True  True  True False False  True  True  True  True False False]
print (m1 & m2)
[ True  True  True  True False False  True  True  True  True False False]

df1 = df.loc[:, m1 & m2]
print (df1)
   0           1         
  10    20    10    20   
   a  b  a  b  a  b  a  b
0  1  1  1  1  1  1  1  1
1  1  1  1  1  1  1  1  1
2  1  1  1  1  1  1  1  1

df.columns = df.columns.droplevel(2)
print (df)
   0                 1               
  10 10 20 20 30 30 10 10 20 20 30 30
0  1  1  1  1  1  1  1  1  1  1  1  1
1  1  1  1  1  1  1  1  1  1  1  1  1
2  1  1  1  1  1  1  1  1  1  1  1  1

df2 = df.loc[:, m1 & m2]
print (df2)
   0           1         
  10 10 20 20 10 10 20 20
0  1  1  1  1  1  1  1  1
1  1  1  1  1  1  1  1  1
2  1  1  1  1  1  1  1  1