Question

我有一个包含索引和其他几列的数据框。索引中的值不是唯一的（实际上它们重复多次。每个索引可以重复约10-20次）。基本上想象这样的事情：

import random
random.seed(4)
arr = [[random.randint(1, 4)] + [random.random() for _ in xrange(3)] for i in xrange(5)]
df_ = pd.DataFrame(arr, columns = ['id', 'col1', 'col2', 'col3']).set_index('id')

现在我需要根据id计算一些值。这些值是：

某个特定列中的百分比为0
属于某些范围的值的百分比
类似于之前的问题

为简单起见，假设我只需要[-inf, 0.25], [0.25, 0.75], [0.75, inf]范围内的值，而我只会使用col1

我目前所做的是：

创建一个获取数据帧并返回这3个数字的函数。

def f(df):
    v1 = len(df[df['col1'] <= 0.25])
    v2 = len(df[(df['col1'] >= 0.25) & (df['col1'] <= 0.75)])
    v3 = len(df[df['col1'] >= 0.75])
    return v1, v2, v3

现在我正在迭代索引中的所有值，提取与此索引相关的数据并将此函数应用于它。这样我就可以用我需要的统计数据创建新的数据框。

data = []
for id in set(df_.index.values):
    v1, v2, v3 = f(df_.loc[id])
    data.append((id, v1, v2, v3))

res_ = pd.DataFrame(data, columns=['id', 'less_25', '25_75', 'more_75'])

现在一切正常（我相信正确），但速度非常慢。我需要在大约1M行df上计算这些数据，其中有大约50k个唯一ID。我的方法很可能需要一天时间。

我相信只有聪明的groupby或者可能是其他东西，这可以更快地实现。

Answer 1

让我们首先在整个pd.cut上使用df_开始。

cat = pd.cut(df_.values.flatten(), [-np.inf, .25, .75, np.inf])
cat_arr = cat.get_values().reshape(df_.shape)
cat_df = pd.DataFrame(cat_arr, df_.index, df_.columns)

看看

pd.concat([df_, cat_df], axis=1, keys=['df_', 'cat'])

获得cat每id

的计数

cat_count = cat_df.stack().groupby(level=[0, 1]) \
                  .value_counts() \
                  .unstack().fillna(0)
cat_count

获得cat每id 的频率

cat_count = cat_df.stack().groupby(level=[0, 1])\
                  .value_counts(normalize=True) \
                  .unstack().fillna(0)
cat_count

Answer 2

将我的评论重新发布为答案。它使用基于numpy的自定义聚合函数的逐个索引。

from __future__ import division
import numpy as np
import pandas as pd
import random

random.seed(4)
arr = [[random.randint(1, 4)] + [random.random() for _ in xrange(3)]\
    for i in xrange(10)]
df_ = pd.DataFrame(arr, columns = ['id', 'col1', 'col2','col3']).set_index('id')

# Percentage of zeros in col1
res1 = df_.groupby(df_.index).agg({'col1':lambda x: np.size(x[x==0])/np.size(x)})
# Percentage of values in given range in col1
res2 = df_.groupby(df_.index).agg({'col1':lambda x:\
     np.size(x[(x>0.2) & (x<0.5)])/np.size(x)})

输出：

In [22]: res1
Out[22]: 
    col1
id      
1    0.0
2    0.0
3    0.0
4    0.0

In [23]: res2
Out[23]: 
        col1
id          
1   0.333333
2   0.000000
3   0.000000
4   0.200000

将操作数据框的函数应用于

2 个答案: