Question

我需要你帮助重塑一个pandas数据帧。我对熊猫来说相当新鲜（虽然已经恋爱了）但是这个问题一直让我大吃一惊。

我参与了一项环境研究，其中包括对特定路线上的汽车进行计数，并记录其来源和目的地以及乘客数量。

数据框看起来像这样（实际上它包含10,000行）

df = pd.DataFrame(
    {'date':['20151201','20151202','20151203','20151204','20151204','20151205','20151206','20151207','20151210','20151211','20151212','20151225'],
                   'id':[123,234,543,890,543,123,234,543,123,123,123,890],
                   'event':[1,1,1,1,-1,-1,-1,-1,-1,-1,-1,-1],
                   'city':['AB','YU','CD','CD','YU','YU','BA','AB','CB','BA','CY','CC'],
                   'number of passengers':[1,5,1,20,1,1,5,10,2,25,3,20]
    }
)

   city      date  event   id  number of passengers
0    AB  20151201      1  123                     1
1    YU  20151202      1  234                     5
2    CD  20151203      1  543                     1
3    CD  20151204      1  890                    20
4    YU  20151204     -1  543                     1
5    YU  20151205     -1  123                     1
6    BA  20151206     -1  234                     5
7    AB  20151207     -1  543                    10
8    CB  20151210     -1  123                     2
9    BA  20151211     -1  123                    25
10   CY  20151212     -1  123                     3
11   CC  20151225     -1  890                    20

其中df ['event']表示城市是否是汽车或目的地（-1）的原点（1）。 df ['id']是汽车的唯一标识符（车牌）。

为了让事情变得更加复杂（至少对我而言），可以多次观察汽车返回同一路线，同一天或同一天，当然观察结果不完整（例如汽车返回原点未被注意）。 / p>

df.set_index(['id','date','event']).unstack('event').swaplevel(0,1,axis=1)


event          -1    1                   -1                    1
             city city number of passengers number of passengers
id  date                                                        
123 20151201  NaN   AB                  NaN                    1
    20151205   YU  NaN                    1                  NaN
    20151210   CB  NaN                    2                  NaN
    20151211   BA  NaN                   25                  NaN
    20151212   CY  NaN                    3                  NaN
234 20151202  NaN   YU                  NaN                    5
    20151206   BA  NaN                    5                  NaN
543 20151203  NaN   CD                  NaN                    1
    20151204   YU  NaN                    1                  NaN
    20151207   AB  NaN                   10                  NaN
890 20151204  NaN   CD                  NaN                   20
    20151225   CC  NaN                   20                  NaN

我想到的目标是创建一个数据框，显示源自城市的所有流量，目的地以及乘客数量观察的发生（最好分类为'（1-2），（ 3-5），（6-7），（＆gt; 7））

理想情况下，我希望结果数据框看起来像这样：

Origin Destination     0-2     3-5     6-7   >7
AB    YU                1       0      0     0
      CB                1       0      0     0
      BA                0       0      0     1
      CY                0       1      0     0
YU    BA                0       2      0     0
CD    YU                1       2      0     0
      AB                0       0      1     0
      CC                0       0      0     1

我已经通过

添加了一个源列和目标列

df['origin']= np.where(df['event'] == 1,df['city'],np.NAN)
df['destination']= np.where(df['event'] == -1,df['city'],np.NAN)

但重塑的后续步骤使我望而却步。我已经尝试了一些pandas pivot和pandas unstack的东西，但似乎我错过了一些东西，因为它没有工作。我想我也需要在一点上使用大熊猫进行分组，但是在我的分析中我没能达到这个阶段。

你能指出我正确的方向吗？我如何重塑数据以通过原点实现流量视图？

Answer 1

你有最诚挚的道歉，因为这很难理解，所以如果有人能想到一个更简单的方法，那就去吧，但是你走了：

df['number of passengers'] = pd.cut(df['number of passengers'], 
                                bins=[0, 2, 5, 7, max(df['number of passengers']) + 1], 
                                right=False)

# Recode the factor levels for readable column labels when unstacked
df.ix[df['event']==1, 'event'] = 'origin'
df.ix[df['event']==-1, 'event'] = 'destination'

# Split the DataFrame, unstack each factor, then join
new_df = pd.DataFrame(
    df.groupby('id')['number of passengers'].value_counts()
).unstack(
    'number of passengers'
).fillna(0).join(
    df.set_index('id')[['city', 'date', 'event']].reset_index().set_index(
        ['id', 'date', 'event']
    ).unstack('event').reset_index(level='date', drop=True)
).reset_index()

# Flatten the column multiindex
new_df.columns = new_df.columns.droplevel()
new_df.columns = ['id', '[0, 2)', '[2, 5)', '[5, 7)', '> 7', 'destination', 'origin']

# If we don't do this, there will be separate rows for origins and destinations
new_df['origin'] = new_df['origin'].fillna(method='ffill')
new_df = new_df.dropna().set_index(['id', 'origin', 'destination'], drop=True)

new_df = new_df.reset_index()[['origin', 'destination', '[0, 2)', '[2, 5)', '[5, 7)', '> 7']].set_index(['origin', 'destination'])
new_df

给你这个：

                    [0, 2)  [2, 5)  [5, 7)  > 7
origin  destination             
AB      YU          2       2       0       1
        CB          2       2       0       1
        BA          2       2       0       1
        CY          2       2       0       1
YU      BA          0       0       2       0
CD      YU          2       0       0       1
        AB          2       0       0       1
        CC          0       0       0       2

熊猫重塑日期框架，groupby垃圾箱

1 个答案: