更新2016-04-04

Question

是否有人想加快这一数据帧索引切片方案？我正在尝试对一些巨大的数据帧进行切片和切块，因此每一位都很重要。我需要以某种方式找到一种更快速的索引切片数据帧的方法，而不是以下技术：

v = initFrame.xs(x,level=('ifoo2','ifoo3'), drop_level=False)

pd.unique中的循环也非常显着地影响了性能。

uniqueList = list(pd.unique(initFrame[['bar1','bar4']].values))

复制并粘贴以下代码段以避免设置。

import pandas as pd

foo1 = (['LABEL1','LABEL1','LABEL2','LABEL2'])
foo2 = ([5,5,6,6])
foo3 = ([1,1,2,3])

index = pd.MultiIndex.from_arrays([foo1,foo2,foo3], names=['ifoo1','ifoo2','ifoo3'])

initFrame = pd.DataFrame({'bar1': [ 5,6,5,6],
                          'bar2': ['a','b','c','d'],
                          'bar3': [11,22,33,44],
                          'bar4': [1,2,1,3]}, index=index)

finDict = {}
#start timer1
uniqueList = list(pd.unique(initFrame[['bar1','bar4']].values))
#end timer1
for x in uniqueList:
    #start timer2
    v = initFrame.xs(x,level=('ifoo2','ifoo3'), drop_level=False)
    #stop timer2
    k = int(x[0]), int(x[1])  
    finDict.update({k:v})

更新2016-04-04

对于那些感兴趣的人，我最终使用了以下内容：

finDict = {}
grouper = initFrame.groupby(level=('ifoo2', 'ifoo3'))
for name, group in grouper:
    finDict.update({name:group})

Answer 1

您可以将字典理解与loc一起使用来进行数据框索引：

finDict = {pair: df.loc[pd.IndexSlice[:, pair[0], pair[1]], :] 
           for pair in pd.unique(initFrame[['bar1', 'bar4']].values).tolist()}

>>> finDict
{(5, 1):                     bar1 bar2  bar3  bar4
 ifoo1  ifoo2 ifoo3                       
 LABEL1 5     1         5    a    11     1
              1         6    b    22     2,
 (6, 2):                     bar1 bar2  bar3  bar4
 ifoo1  ifoo2 ifoo3                       
 LABEL2 6     2         5    c    33     1,
 (6, 3):                     bar1 bar2  bar3  bar4
 ifoo1  ifoo2 ifoo3                       
 LABEL2 6     3         6    d    44     3}

Answer 2

我不知道你真正想做什么，但这里有一些提示加速代码的提示：

变化

uniqueList = list(pd.unique(initFrame[['bar1','bar4']].values))

到

uniqueList = initFrame[["bar1", "bar4"]].drop_duplicates().values.tolist()

和for循环：

g = initFrame.groupby(level=(1, 2))
uniqueSet = set(uniqueList)
dict((key, df) for key, df in g if key in uniqueSet)

或：

g = initFrame.groupby(level=(1, 2))
dict((key, g.get_group(key)) for key in uniqueList)

以下是％timeit compare：

import numpy as np
import pandas as pd
arr = np.random.randint(0, 10, (10000, 2))
df = pd.DataFrame(arr, columns=("A", "B"))

%timeit df.drop_duplicates().values.tolist()
%timeit list(pd.unique(arr))

输出：

100 loops, best of 3: 3.51 ms per loop
10 loops, best of 3: 94.7 ms per loop

Answer 3

不是一个答案，只是为了将思想可视化我的评论，因为多索引被分组，我们可以简单地＆amp;如果（＆＃39; bar1＆＃39;，＆＃39; bar4＆＃39;）的值等于之前的值，则可能只是比较并跳过循环，然后执行dict更新。

它可能不会更快，但如果您的数据集很大，它可能会为您节省内存消耗问题，伪代码：

# ...replace timer1...
prev, finDict = None, {}
for n in initFrame[['bar1', 'bar4']].iterrows():
    current = (n[0][1], n[0][2])
    if current == prev: continue
    prev = current
    #... whatever faster way to solve your 2nd timer...

我个人认为@Alexander非常好地回答你的第二个计时器。

熊猫：需要一种更快速的索引切片方式

更新2016-04-04

3 个答案: