Pandas有条件地创建一个系列/数据帧列

时间:2013-11-11 18:52:06

标签: python pandas numpy dataframe

我的数据框如下:

    Type       Set
1    A          Z
2    B          Z           
3    B          X
4    C          Y

我想在数据框中添加另一列(或生成一系列)与数据帧相同的长度(=相等的记录/行数),如果设置为Set ='Z',则设置颜色为绿色设置=否则。

最好的方法是什么?

10 个答案:

答案 0 :(得分:499)

如果您只有两个选择可供选择:

df['color'] = np.where(df['Set']=='Z', 'green', 'red')

例如,

import pandas as pd
import numpy as np

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
df['color'] = np.where(df['Set']=='Z', 'green', 'red')
print(df)

产量

  Set Type  color
0   Z    A  green
1   Z    B  green
2   X    B    red
3   Y    C    red

如果您有两个以上的条件,请使用np.select 。例如,如果您希望color

    yellow 时,
  • (df['Set'] == 'Z') & (df['Type'] == 'A')
  • blue
  • 时另有(df['Set'] == 'Z') & (df['Type'] == 'B')
  • purple
  • 时另有(df['Type'] == 'B')
  • 否则black

然后使用

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
conditions = [
    (df['Set'] == 'Z') & (df['Type'] == 'A'),
    (df['Set'] == 'Z') & (df['Type'] == 'B'),
    (df['Type'] == 'B')]
choices = ['yellow', 'blue', 'purple']
df['color'] = np.select(conditions, choices, default='black')
print(df)

产生

  Set Type   color
0   Z    A  yellow
1   Z    B    blue
2   X    B  purple
3   Y    C   black

答案 1 :(得分:85)

列表理解是另一种有条件地创建另一列的方法。如果您在列中使用对象dtypes,就像在您的示例中一样,列表推导通常优于大多数其他方法。

列表理解示例:

df['color'] = ['red' if x == 'Z' else 'green' for x in df['Set']]

%timeit tests:

import pandas as pd
import numpy as np

df = pd.DataFrame({'Type':list('ABBC'), 'Set':list('ZZXY')})
%timeit df['color'] = ['red' if x == 'Z' else 'green' for x in df['Set']]
%timeit df['color'] = np.where(df['Set']=='Z', 'green', 'red')
%timeit df['color'] = df.Set.map( lambda x: 'red' if x == 'Z' else 'green')

1000 loops, best of 3: 239 µs per loop
1000 loops, best of 3: 523 µs per loop
1000 loops, best of 3: 263 µs per loop

答案 2 :(得分:19)

这是使用字典将新值映射到列表中的键上的另一种方法:

def map_values(row, values_dict):
    return values_dict[row]

values_dict = {'A': 1, 'B': 2, 'C': 3, 'D': 4}

df = pd.DataFrame({'INDICATOR': ['A', 'B', 'C', 'D'], 'VALUE': [10, 9, 8, 7]})

df['NEW_VALUE'] = df['INDICATOR'].apply(map_values, args = (values_dict,))

它的样子:

df
Out[2]: 
  INDICATOR  VALUE  NEW_VALUE
0         A     10          1
1         B      9          2
2         C      8          3
3         D      7          4

如果要生成许多ifelse类型的语句(即要替换的许多唯一值),这种方法可能会非常强大。

当然,你总能做到这一点:

df['NEW_VALUE'] = df['INDICATOR'].map(values_dict)

但在我的机器上,这种方法的速度是上面apply方法的三倍以上。

您也可以使用dict.get

执行此操作
df['NEW_VALUE'] = [values_dict.get(v, None) for v in df['INDICATOR']]

答案 3 :(得分:16)

可以实现这一目标的另一种方式是

df['color'] = df.Set.map( lambda x: 'red' if x == 'Z' else 'green')

答案 4 :(得分:11)

以下比方法here慢,但我们可以根据多个列的内容计算额外列,并且可以为额外列计算两个以上的值。

仅使用“设置”列的简单示例:

  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B  green
3   Y    C  green
def set_color(row):
    if row["Set"] == "Z":
        return "red"
    elif row["Type"] == "C":
        return "blue"
    else:
        return "green"

df = df.assign(color=df.apply(set_color, axis=1))

print(df)

考虑更多颜色和更多列的示例:

  Set Type  color
0   Z    A    red
1   Z    B    red
2   X    B  green
3   Y    C   blue
let fullURL = God.getFullURL(apiURL: self.apiUrl)
        if (getOrPost == God.POST) {
            Alamofire.request(fullURL, method: .post, parameters: self.postData?, encoding:.JSONEncoding.default).responseJSON{ response in
                self.responseData = response.result.value
            }
        } else if (getOrPost == God.GET) {
            Alamofire.request(fullURL, method : .get, parameters: getData, encoding:.JSONEncoding.default).responseJSON{ response in
                self.responseData = response.result.value
            }
        }

答案 5 :(得分:2)

一种采用.apply()方法的衬纸如下:​​

df['color'] = df['Set'].apply(lambda set_: 'green' if set_=='Z' else 'red')

之后,df数据帧如下所示:

>>> print(df)
  Type Set  color
0    A   Z  green
1    B   Z  green
2    B   X    red
3    C   Y    red

答案 6 :(得分:1)

也许通过更新Pandas可以实现,但是到目前为止,以下是我对该问题的最短和最佳答案。您可以根据需要使用一种或多种条件。

SQLiteDataAdapter da = new SQLiteDataAdapter(String.Format("Select * FROM {0}",tableName), con);

答案 7 :(得分:1)

如果您要处理海量数据,最好采用记忆方式:

# First create a dictionary of manually stored values
color_dict = {'Z':'red'}

# Second, build a dictionary of "other" values
color_dict_other = {x:'green' for x in df['Set'].unique() if x not in color_dict.keys()}

# Next, merge the two
color_dict.update(color_dict_other)

# Finally, map it to your column
df['color'] = df['Set'].map(color_dict)

当您有很多重复的值时,这种方法将是最快的。我的一般经验法则是记住以下情况:data_size> 10**4n_distinct < data_size/4

E.x。记住10,000行中的2500个或更少的不同值。

答案 8 :(得分:1)

您可以使用熊猫方法 wheremask

df['color'] = 'green'
df['color'] = df['color'].where(df['Set']=='Z', other='red')
# Replace values where the condition is False

df['color'] = 'red'
df['color'] = df['color'].mask(df['Set']=='Z', other='green')
# Replace values where the condition is True

输出:

  Type Set  color
1    A   Z  green
2    B   Z  green
3    B   X    red
4    C   Y    red

答案 9 :(得分:1)

如果您只有2个选择,请使用np.where()

df = pd.DataFrame({'A':range(3)})
df['B'] = np.where(df.A>2, 'yes', 'no')

如果您有超过 2 个选择,也许 apply() 可以工作 输入

arr = pd.DataFrame({'A':list('abc'), 'B':range(3), 'C':range(3,6), 'D':range(6, 9)})

和 arr 是

    A   B   C   D
0   a   0   3   6
1   b   1   4   7
2   c   2   5   8

如果你想让 E 列变成 if arr.A =='a' then arr.B elif arr.A=='b' then arr.C elif arr.A == 'c' then arr.D else something_else

arr['E'] = arr.apply(lambda x: x['B'] if x['A']=='a' else(x['C'] if x['A']=='b' else(x['D'] if x['A']=='c' else 1234)), axis=1)

最后是 arr

    A   B   C   D   E
0   a   0   3   6   0
1   b   1   4   7   4
2   c   2   5   8   8