Pandas替代方式添加除了apply之外的许多条件的新列

时间:2017-03-07 13:11:03

标签: python-3.x pandas vectorization

我有两个数据框,比方说dfmap_dum。这是df

>>> print(df)
    sales
0       5
1      10
2       9
3       7
4       1
5       1
6      -1
7       2
8       9
9       8
10      1
11      3
12     10
13     -2
14      8
15      5
16      9
17      6
18     10
19     -1
20      5
21      3

这里是map_dum

>>> print(map_dum)
   class  more_than_or_equal_to  less_than
0     -1                  -1000          0
1      1                      0          2
2      2                      2          4
3      3                      4          6
4      4                      6          8
5      5                      8         10
6      6                     10       1000

我的目标是向dfclass添加新列。为此,我必须检查df['sales']中的值是否位于map_dum中的值之间。例如,如果我想知道class中第一行的df['sales'],5,则class将为3.最终输出如下所示。

>>> print(df)
    sales  class
0       5      3
1      10      6
2       9      5
3       7      4
4       1      1
5       1      1
6      -1     -1
7       2      2
8       9      5
9       8      5
10      1      1
11      3      2
12     10      6
13     -2     -1
14      8      5
15      5      3
16      9      5
17      6      4
18     10      6
19     -1     -1
20      5      3
21      3      2

目前,我正在使用apply来解决此问题,但由于我的数据集非常庞大,因此速度非常慢。

def add_class(sales, mapping, lower_limit, upper_limit):
    result = mapping.loc[((mapping[lower_limit]<=sales)&(mapping[upper_limit]>sales)), 'class'].tolist()[0]
    return result

df['class'] = df['sales'].apply(lambda sales: add_class(sales, map_dum, 'more_than_or_equal_to', 'less_than'))

因此,在我的情况下,表现确实很重要。在不违反标准的情况下,将class列添加到df的任何其他方式,类似于矢量化解决方案?谢谢你的帮助!

1 个答案:

答案 0 :(得分:3)

我认为你需要cut

bins = [-1000, 0, 2, 4, 6, 8, 10, 1000]
labels=[-1,1,2,3,4,5,6]
df['class'] = pd.cut(df['sales'], bins=bins, labels=labels, right=False)
print (df)
    sales class
0       5     3
1      10     6
2       9     5
3       7     4
4       1     1
5       1     1
6      -1    -1
7       2     2
8       9     5
9       8     5
10      1     1
11      3     2
12     10     6
13     -2    -1
14      8     5
15      5     3
16      9     5
17      6     4
18     10     6
19     -1    -1
20      5     3
21      3     2

对于map_dum的动态添加值,请使用:

bins = [map_dum['more_than_or_equal_to'].iat[0]] + map_dum['less_than'].tolist()
labels= map_dum['class']
df['class'] = pd.cut(df['sales'], bins=bins, labels=labels, right=False)
print (df)