Question

假设我已经获得了dataframe的分组索引列表，并且我希望使用groupby或其他函数来获取子数据帧。我知道我可以使用像isin这样的[df[df.index.isin(group)] for group in grouplist]来多次查询数据框，但它看起来非常慢。我怎样才能更有效地获得团体？

grouplist = [[1],[29, 30, 31],[40],[46, 47, 48, 49],[58, 59],[68, 69, 70],[99, 100, 101],[103]]

Answer 1

您似乎需要loc：

[df.loc[group] for group in grouplist]

编辑：

对于列中的检查值，可以更快地使用：

[df[np.in1d(df.A, group)] for group in grouplist]

或者：

[df[df.A.isin(group)] for group in grouplist]

<强>计时：

np.random.seed(123)
N = 100000

df = pd.DataFrame({'A': np.random.randint(150, size=N),
                   'B':np.random.rand(N)})
#print (df)


grouplist = [[1],[29, 30, 31],[40],[46, 47, 48, 49],
             [58, 59],[68, 69, 70],[99, 100, 101],[103]]

def a(df):
    df = df.set_index('A')
    return [df.loc[group] for group in grouplist]

def b(df):
    return [df[df.A.isin(group)] for group in grouplist]

def c(df):
    return [df[np.in1d(df.A, group)] for group in grouplist]


In [84]: %timeit (a(df))
10 loops, best of 3: 117 ms per loop

In [85]: %timeit (b(df))
100 loops, best of 3: 18.3 ms per loop

In [86]: %timeit (c(df))
100 loops, best of 3: 5.44 ms per loop

<强>买者：

效果实际上取决于数据 - 数据框架的大小和grouplist组中的值数量。

pandas group by group indces列表

1 个答案: