将函数应用于pandas数据帧的每一行 - 具有速度

时间:2015-01-23 03:49:24

标签: python numpy pandas dataframe

我有一个具有以下基本结构的数据框:

import numpy as np
import pandas as pd
tempDF = pd.DataFrame({'condition':[0,0,0,0,0,1,1,1,1,1],'x1':[1.2,-2.3,-2.1,2.4,-4.3,2.1,-3.4,-4.1,3.2,-3.3],'y1':[6.5,-7.6,-3.4,-5.3,7.6,5.2,-4.1,-3.3,-5.7,5.3],'decision':[np.nan]*10})
print tempDF
   condition  decision   x1   y1
0          0       NaN  1.2  6.5
1          0       NaN -2.3 -7.6
2          0       NaN -2.1 -3.4
3          0       NaN  2.4 -5.3
4          0       NaN -4.3  7.6
5          1       NaN  2.1  5.2
6          1       NaN -3.4 -4.1
7          1       NaN -4.1 -3.3
8          1       NaN  3.2 -5.7
9          1       NaN -3.3  5.3

在每一行中,如果'condition'列等于零,并且'x1'和'y1'都是相同的符号(正面或负面),我想将'decision'列的值更改为零 - 出于此脚本的目的,零被认为是积极的。如果'x1'和'y1'的符号不同或'条件'列等于1(无论'x1'和'y1'的符号),那么'决定'列应该等于1.我希望我'我明确地解释了这一点。

我可以按如下方式迭代数据帧的每一行:

for i in range(len(tempDF)):
    if (tempDF.ix[i,'condition'] == 0 and ((tempDF.ix[i,'x1'] >= 0) and (tempDF.ix[i,'y1'] >=0)) or ((tempDF.ix[i,'x1'] < 0) and (tempDF.ix[i,'y1'] < 0))):
        tempDF.ix[i,'decision'] = 0
    else:
        tempDF.ix[i,'decision'] = 1

print tempDF
           condition  decision   x1   y1
        0          0         0  1.2  6.5
        1          0         0 -2.3 -7.6
        2          0         0 -2.1 -3.4
        3          0         1  2.4 -5.3
        4          0         1 -4.3  7.6
        5          1         1  2.1  5.2
        6          1         1 -3.4 -4.1
        7          1         1 -4.1 -3.3
        8          1         1  3.2 -5.7
        9          1         1 -3.3  5.3

这会产生正确的输出,但速度有点慢。我拥有的真实数据帧非常大,需要多次进行这些比较。有没有更有效的方法来达到预期的效果?

1 个答案:

答案 0 :(得分:1)

首先,使用np.sign和比较运算符创建一个布尔数组True,其中决策应为1

decision = df["condition"] | (np.sign(df["x1"]) != np.sign(df["y1"]))

我在这里使用了德摩根的法律。

然后转换为int并将其放入数据框:

df["decision"] = decision.astype(int)

,并提供:

>>> df
   condition  decision   x1   y1
0          0         0  1.2  6.5
1          0         0 -2.3 -7.6
2          0         0 -2.1 -3.4
3          0         1  2.4 -5.3
4          0         1 -4.3  7.6
5          1         1  2.1  5.2
6          1         1 -3.4 -4.1
7          1         1 -4.1 -3.3
8          1         1  3.2 -5.7
9          1         1 -3.3  5.3