Question

我想根据一个值的条件在一个数据框上运行多个不同的操作。我有一些可行的解决方案，但它们似乎是使用熊猫的怪异方式，或者运行速度有些慢。我认为这必须是一项常见的任务，所以我希望可能有一种“适当”的方法来解决它。由于我将不得不做很多这样的事情，所以我想学习

示例df：

names = ['john doe', 'jane doe', 'jimmy - tables', 'bobby / tables']
condition_str = ['condition 1', 'condition 1', 'condition 2', 'condition 3']
nums = [1, 2, 3, 4]
df_example = pd.DataFrame({'Name': names, 'Condition': condition_str, 'Numbers': nums})

我想基于一个或多个条件在不同的列上运行多个操作，并将其返回到不同的列。在此示例中，将“名称”拆分为另一个子字符串（“'，'-'），然后将“数字”乘以不同的值。

这是提供正确输出的函数：

def split_name_condition(row):
    if row['Condition'] == 'condition 1':
        first_name, last_name = row['Name'].split(' ')
        nums2 = row['Numbers'] * 2
        return [first_name, last_name, nums2]
    elif row['Condition'] == 'condition 2':
        nums2 = row['Numbers'] * 10
        first_name, last_name = row['Name'].split(' - ')
        return [first_name, last_name, nums2]
    else:  # needs explicit two return values for the append in iter_lists()
        return None, None, None

我可以使用apply运行它

def run_apply(df):
    df[['first_name', 'last_name', 'Number2']] = df.apply(split_name_condition, axis=1, result_type='expand')
    return df

或带有迭代次数：

def run_iter_lists(df):
    first_name, last_name, numbers2 = [], [], []
    for _, row in df.iterrows():
        f_name, l_name, nums2 = split_name_condition(row)
        first_name.append(f_name)
        last_name.append(l_name)
        numbers2.append(nums2)

    df_result = pd.DataFrame({'first_name': first_name,
                              'last_name': last_name,
                              'Numbers2': numbers2})
    return pd.concat([df, df_result], axis=1, sort=False)

以某种方式遍历DF对我来说似乎很奇怪。

使用布尔索引：

def run_bool_index(df):
    df.loc[df['Condition'] == 'condition 1', 'list_name'] = df['Name'].str.split(' ')
    df.loc[df['Condition'] == 'condition 2', 'list_name'] = df['Name'].str.split(' - ')
    df.loc[df['Condition'] == 'condition 3', 'list_name'] = df['Name'].str.split(' / ')

    df.loc[df['Condition'] == 'condition 1', 'Numbers2'] = df['Numbers']*2
    df.loc[df['Condition'] == 'condition 2', 'Numbers2'] = df['Numbers']*10

    df[['first_name', 'last_name']] = pd.DataFrame(df['list_name'].values.tolist())
    return df

在我看来，bool指数更像是熊猫的预期用途，但与应用和迭代相比，速度非常慢。

timeit会执行100次：

apply:
0.20913150000000025
iter_lists:
0.16314859999999998
bool_index:
0.7845151000000001

这种任务是否有通用的解决方案或最佳实践？

Answer 1

您可以尝试：

def myfunc(df):
    df['list_name']=df['Name'].str.findall('\w+')
    df['Numbers2']=(np.select([df['Condition'].eq('condition 1'),df['Condition']
                          .eq('condition 2')],[df['Numbers']*2,df['Numbers']*10]))
    df[['first_name', 'last_name']]=df['Name'].str.extract('(\w+)\W+(\w+)')
    return df

大熊猫有条件地执行操作-不同的方式和最佳做法？

1 个答案: