使用For循环对Pandas DataFrame进行排序和重新排列

时间:2019-11-26 17:07:59

标签: python pandas dataframe for-loop automation

我有一个下面的数据框

df = pd.DataFrame([['NY','R',1],
                  ['NJ','Y',12],
                  ['FL','B',20],
                  ['CA','B',40],
                  ['AZ','Y',51],
                  ['NY','R',2],
                  ['NJ','Y',18],
                  ['FL','B',30],
                  ['CA','B',20],
                  ['AZ','Y',45],
                  ['NY','Y',3],
                  ['NJ','R',15],
                  ['FL','R',10],
                  ['CA','R',70],
                  ['AZ','B',25],
                  ['NY','B',4],
                  ['NJ','B',17],
                  ['FL','Y',30],
                  ['CA','R',30],
                  ['AZ','B',75],
                  ['FL','R',5],
                  ['FL','Y',25],
                  ['NJ','R',14],
                  ['NJ','B',11],
                  ['NY','B',5],
                  ['NY','Y',7]],
                    columns = ['State', 'ID','data'])


State ID  data
0     NY  R     1
1     NJ  Y    12
2     FL  B    20
3     CA  B    40
4     AZ  Y    51
5     NY  R     2
6     NJ  Y    18
7     FL  B    30
8     CA  B    20
9     AZ  Y    45
10    NY  Y     3
11    NJ  R    15
12    FL  R    10
13    CA  R    70
14    AZ  B    25
15    NY  B     4
16    NJ  B    17
17    FL  Y    30
18    CA  R    30
19    AZ  B    75
20    FL  R     5
21    FL  Y    25
22    NJ  R    14
23    NJ  B    11
24    NY  B     5
25    NY  Y     7

我想做的是:重新创建一个新的数据框,使其仅包含状态的eachID中的最小数字。例如:对于州:NY和ID:R,有2个数据:1和2。新数据框将仅采用值:对于州:NY和ID:R类别为1。新数据框最好如下所示:

  State  dataR  dataB  dataY
0    NY    1.0      4    3.0
1    NJ   14.0     11   12.0
2    FL    5.0     20   25.0
3    CA   30.0     20    NaN
4    AZ    NaN     25   45.0

请注意:结果AZ和CA的列dataR和dataY分别没有任何值(NaN),因为它们在原始数据帧中最初没有这样的值。另请注意,结果中的列变为dataR,dataB和dataY。我的目标是在结果中创建这些列,以便以后可以轻松地在实际数据中读取结果。

并且:我也想保持灵活性,这样我就可以在每个ID R&Y和B的数据中寻求每个州的最小值,因此新的数据框架将如下所示:

  State  dataRY  dataB
0    NY       1      4
1    NJ      12     11
2    FL       5     20
3    CA      30     20
4    AZ      45     25

我尝试使用for循环,如下所示:

colours = [['R'],['B'],['Y']]

def rearranging(df):
    df_result = []
    for c in colours:
        df_colours          = df[df['ID'].isin(c)]
        df_colours_result   = []
        for state in np.unique(df['State'].values):
            df1     = df_colours[df_colours['State'] == state]
            df2     = df1.nsmallest(1,'data')
            df_colours_result.append(df2)
        first_loop_result = pd.concat(df_colours_result,ignore_index = True, sort = False)
        df_result.append(first_loop_result)
    final_result = pd.concat(df_result, axis = 1)
    return final_result

应该在这里使用可变颜色,因为我想灵活一些,以便以后数据源更改时可以更改其值。

上面的for循环的结果是:

  State   ID  data State ID  data State   ID  data
0    CA    R  30.0    AZ  B    25    AZ    Y  45.0
1    FL    R   5.0    CA  B    20    FL    Y  25.0
2    NJ    R  14.0    FL  B    20    NJ    Y  12.0
3    NY    R   1.0    NJ  B    11    NY    Y   3.0
4   NaN  NaN   NaN    NY  B     4   NaN  NaN   NaN

我不喜欢我的结果,因为:很难阅读,我需要重新排列并重新命名列。无论如何,通过使用for循环可以获得我实际上针对上述结果的结果?也欢迎进行矢量化。

也请(再次)告知我,我也想对列ID保持灵活。例如,这就是我要包括的原因,例如,我想说的是,我需要查看ID R&Y组合和ID B的每个州的最小数据值。在我的尝试中,我仅更改了以下代码,使循环保持不变:

colours = [['R','Y'],['B']]


结果是:

  State ID  data State ID  data
0    AZ  Y    45    AZ  B    25
1    CA  R    30    CA  B    20
2    FL  R     5    FL  B    20
3    NJ  Y    12    NJ  B    11
4    NY  R     1    NY  B     4

注意:相比之下,如果存在NaN,则NaN会被忽略(不会被视为零)。

再一次,结果与我的目标不同,该表的信息不足。

1 个答案:

答案 0 :(得分:3)

IIUC,在groupby()State上使用ID并获得min列中的data,并在需要时拆栈(add_prefix)。 :

df.groupby(['State','ID'],sort=False)['data'].min().unstack().add_prefix('data_')

ID     data_R  data_Y  data_B
State                        
NY        1.0     3.0     4.0
NJ       14.0    12.0    11.0
FL        5.0    25.0    20.0
CA       30.0     NaN    20.0
AZ        NaN    45.0    25.0

编辑:按照OP的要求,如果您想将YR合并在一起,只需替换并做类似的事情:

(df.assign(ID=df['ID'].replace(['Y','R'],'YR'))
    .groupby(['State','ID'],sort=False)['data'].min().unstack().add_prefix('data_'))

ID     data_YR  data_B
State                 
NY           1       4
NJ          12      11
FL           5      20
CA          30      20
AZ          45      25