Question

这个问题是关于在Pandas数据框中的逻辑行组上有效地应用自定义函数的，这些逻辑组在某些列中共享一个值。

请考虑以下数据框示例：

sID = [1,1,1,2,4,4,5,5,5]
data = np.random.randn(len(sID))
dates = pd.date_range(start='1/1/2018', periods=len(sID))

mydf = pd.DataFrame({"subject_id":sID, "data":data, "date":dates})
mydf['date'][5] += pd.Timedelta('2 days')

如下所示：

       data       date  subject_id
0  0.168150 2018-01-01           1
1 -0.484301 2018-01-02           1
2 -0.522980 2018-01-03           1
3 -0.724524 2018-01-04           2
4  0.563453 2018-01-05           4
5  0.439059 2018-01-08           4
6 -1.902182 2018-01-07           5
7 -1.433561 2018-01-08           5
8  0.586191 2018-01-09           5

想象一下，对于每个subject_id，我们想从每个日期中减去此subject_id遇到的第一个日期。将结果存储在新列“ days_elapsed”中，结果将如下所示：

       data       date  subject_id  days_elapsed
0  0.168150 2018-01-01           1             0
1 -0.484301 2018-01-02           1             1
2 -0.522980 2018-01-03           1             2
3 -0.724524 2018-01-04           2             0
4  0.563453 2018-01-05           4             0
5  0.439059 2018-01-08           4             3
6 -1.902182 2018-01-07           5             0
7 -1.433561 2018-01-08           5             1
8  0.586191 2018-01-09           5             2

一种自然的方法是使用groupby和apply：

g_df = mydf.groupby('subject_id')
mydf.loc[:, "days_elapsed"] = g_df["date"].apply(lambda x: x - x.iloc[0]).astype('timedelta64[D]').astype(int)

但是，如果组（主题ID）的数量很大（例如10 ^ 4），并且仅比数据帧的长度小10倍，那么这种非常简单的操作确实很慢。

有更快的方法吗？

PS：我还尝试过将索引设置为subject_id，然后使用以下列表理解：

def get_first(series, ind):
    "Return the first row in a group within a series which (group) potentially can span multiple rows and corresponds to a given index"
    group = series.loc[ind]

    if hasattr(group, 'iloc'):
        return group.iloc[0]
    else: # this is for indices with a single element
        return group

hind_df = mydf.set_index('subject_id')
A = pd.concat([hind_df["date"].loc[ind] - get_first(hind_df["date"], ind) for ind in np.unique(hind_df.index)])

但是，它甚至更慢。

Answer 1

您可以将GroupBy和transform与first一起使用。这应该更有效，因为它避免了昂贵的lambda函数调用。

通过pd.Series.values使用NumPy数组，您可能还会看到性能改进：

first = df.groupby('subject_id')['date'].transform('first').values

df['days_elapsed'] = (df['date'].values - first).astype('timedelta64[D]').astype(int)

print(df)

   subject_id      data       date  days_elapsed
0           1  1.079472 2018-01-01             0
1           1 -0.197255 2018-01-02             1
2           1 -0.687764 2018-01-03             2
3           2  0.023771 2018-01-04             0
4           4 -0.538191 2018-01-05             0
5           4  1.479294 2018-01-08             3
6           5 -1.993196 2018-01-07             0
7           5 -2.111831 2018-01-08             1
8           5 -0.934775 2018-01-09             2

Answer 2

$json_object = json_decode($json_string);
var_dump($json_object->miners);

将自定义功能有效地应用于Pandas中的组

2 个答案: