Question

我已经处理了多个pandas数据帧中的原始数据。每个数据框都包含个人用户数据以及他们按时间序列点击的社交网络。每个数据框大致代表一年或两年，我希望在处理后将所有内容都合并为一个。

在循环内部，我首先将每个数据帧转换为以下结构以获取聚合数据。

    year  month  social_clicks, Gender
0   2010    01  google, yahoo, google, google, facebook, facebook, m,f,m
1   2010    02  facebook, yahoo, google, google, facebook, facebook, m,f,m
2   2010    03  yahoo, yahoo, google, google, facebook, facebook, f,f,m
3   2010    04  google, yahoo, google, twitter, facebook, facebook, f,f,f
4   2010    05  facebook, yahoo, google, google, facebook, facebook, m,f,m
5   2010    06  twitter, yahoo, google, twitter, facebook, google, m,f,f

最终目标是将上述时间序列数据处理为以下数据框架结构。

    year  month  google  yahoo  facebook  twitter M F
0   2010    01    3       1         2       0     2 1
1   2010    02    2       1         3       0     2 1
2   2010    03    2       2         2       0     1 2

我遍历包含所有单个数据框的列表，同时将它们转换为上面的聚合结构。我想并行化这个过程以加快处理速度。

pre_processed_dfs = []
finalized_dfs = []
        for frame in pre_processed_dfs:

            ## Calculate the gender per month
            gender_df = frame.groupby(['year','month'])['Gender'].apply(
                lambda x: ','.join(x)).reset_index()

            df_gender = gender_df.Gender.str.split(',', expand=True)
            df_gender = pd.get_dummies(df_gender, prefix='', prefix_sep='')
            df_gender = df_gender.groupby(df_gender.columns, axis=1).sum()
            df_gender_agg = pd.concat([gender_df, df_gender], axis=1)
            df_gender_agg.drop('Gender', axis=1, inplace=True)

            ## construct data frame to maintain monthly social clicks
            social_df = frame.groupby(['year','month'])['social_clicks'].apply(
                lambda x: ','.join(x)).reset_index()

            df = social_df.social_clicks.str.split(',', expand=True)
            df = pd.get_dummies(df, prefix='', prefix_sep='')
            df = df.groupby(df.columns, axis=1).sum()
            social_df_agg = pd.concat([social_df, df], axis=1)
            social_df_agg.drop('social_clicks', axis=1, inplace=True)

            social_df_agg.set_index(['year', 'month'], inplace=True)
            df_gender_agg.set_index(['year', 'month'], inplace=True)

            social_gender_df = pd.merge(social_df_agg, df_gender_agg, left_index=True, right_index=True)

            social_gender_df.reset_index(level=social_gender_df.index.names, inplace=True)
            finalized_dfs.append(social_gender_df)
final_df = pd.concat(finalized_dfs)

当我使用较小的数据集运行时，上面的过程快速完成。但是当我切换到运行实际数据集时，进程运行真的很长时间。我相信最耗时的部分是我拆分和加入的部分，也是合并的部分。

我可以并行化这个过程，我将该列表中每个数据帧的处理移交给一个线程。除此之外，我还可以加速此循环中的连接和合并。

我在看CPU＆amp;内存使用情况：

PID    COMMAND      %CPU  TIME     #TH    #WQ  #PORT MEM    PURG   CMPRS  PGRP  PPID  STATE    BOOSTS         %CPU_ME %CPU_OTHRS UID
4565   python2.7    99.9  14:56:32 9/1

我还在for循环的顶部打印了一个声明，而在重置索引之后，它还没有到达重置的代码行。

Answer 1

这应该是

df.set_index(['year', 'month']) \
  .iloc[:, 0].str.split(r',\s*').apply(pd.value_counts).fillna(0).reset_index()

Answer 2

您可以使用crosstab：

import pandas as pd
import numpy as np

size = 100
sites = "google,yahoo,facebook,twitter".split(",")
year = np.random.choice([2015, 2016], size)
month = np.random.choice(np.arange(1, 13), size)
gender = np.random.choice(["m", "f"], size)
click = np.random.choice(sites, size)

df = pd.DataFrame({"year":year, "month":month, "gender":gender, "click":click})

gender_counts = pd.crosstab([df.year, df.month], [df.gender])
click_counts = pd.crosstab([df.year, df.month], [df.click])

Python：优化数据帧处理

2 个答案: