Question

我已经有一个解决方案-但是速度非常慢（800行需要13分钟）。这是数据框的示例：

path: /checkout

在新列中，我要计算col2的先前值（例如三个）有多少大于或等于col1的行值。我也继续第一行。

这是我的慢代码：

import pandas as pd
d = {'col1': [20,23,40,41,48,49,50,50], 'col2': [39,32,42,50,63,68,68,69]}
df = pd.DataFrame(data=d)
df

我获得了更快的解决方案-谢谢您的宝贵时间！

这是我获得的结果：

start_at_nr = 3 #variable in which row start to calculate
df["overlap_count"] = "" #create new column

for row in range(len(df)):
    if row <= start_at_nr - 1:
       df["overlap_count"].loc[row] = "x"
    else:
       df["overlap_count"].loc[row] = (
           df["col2"].loc[row - start_at_nr:row - 1] >=
           (df["col1"].loc[row])).sum()

df

Answer 1

IIUC，您可以这样做：

df['overlap_count'] = 0
for i in range(1,start_at_nr+1):
    df['overlap_count'] += df['col1'].le(df['col2'].shift(i))

# mask the first few rows
df.iloc[:start_at_nr, -1] = np.nan

输出：

   col1  col2  overlap_count
0    20    39            NaN
1    23    32            NaN
2    40    42            NaN
3    41    50            1.0
4    48    63            1.0
5    49    68            2.0
6    50    68            3.0
7    50    69            3.0

在800行和start_at_nr=3上花费大约11毫秒的时间。

Answer 2

您基本上将Record_ID的当前值与col1的前3行进行比较，并从第3行开始比较。您可以按以下方式使用shift

col2

或

n = 3
s = ((pd.concat([df.col2.shift(x) for x in range(1,n+1)], axis=1) >= df.col1.values[:,None])
        .sum(1)[3:])

要获得所需的输出，请将其分配回s = (pd.concat([df.col2.shift(x) for x in range(1,n+1)], axis=1).ge(df.col1,axis=0) .sum(1)[3:]) Out[65]: 3 1 4 1 5 2 6 3 7 3 dtype: int64和df

fillna

Answer 3

您可以在单个语句中使用.apply()进行以下操作。我使用了便捷功能 process_row() ，该功能也包含在下面。

df.assign(OVERLAP_COUNT = (df.reset_index(drop=False).rename(
                                columns={'index': 'ID'})).apply(
                                    lambda x: process_row(x, df, offset=3), axis=1))

提高速度：   如果需要更高的速度并正在处理很多行，则可以考虑使用swifter库。您所要做的就是：


安装swifter：pip install swifter。

将库导入为import swifter。

在上面的代码块中，用.apply()替换任何.swifter.apply()。

详细解决方案

#!pip install -U swifter
#import swifter 
import numpy as np
import pandas as pd

d = {'col1': [20,23,40,41,48,49,50,50], 'col2': [39,32,42,50,63,68,68,69]}
df = pd.DataFrame(data=d)

def process_row(x, df, offset=3):
    value = (df.loc[x.ID - offset:x.ID - 1, 'col2'] >= df.loc[x.ID, 'col1']).sum() if (x.ID >= offset) else 'x'
    return value

# Use df.swifter.apply() for faster processing, instead of df.apply()
df.assign(OVERLAP_COUNT = (df.reset_index(drop=False, inplace=False).rename(
                                columns={'index': 'ID'}, inplace=False)).apply(
                                    lambda x: process_row(x, df, offset=3), axis=1))

输出：

   col1  col2 OVERLAP_COUNT
0    20    39             x
1    23    32             x
2    40    42             x
3    41    50             1
4    48    63             1
5    49    68             2
6    50    68             3
7    50    69             3

熊猫-遍历行并计算-更快

3 个答案:

详细解决方案