遍历数据帧的多行并根据条件删除行

时间:2020-09-08 21:40:20

标签: python pandas

我有一个数据框:

  column1
19:08:22
ABCD
19:08:40
WXYZ
AAAA
19:09:02
XXXX
ZZZZ
19:09:49
ABCD

我只想在包含时间的行(此dtype也是字符串)之后的两个连续行中仅保留具有文本值的行。

我正在寻找以下输出:

  column1
19:08:40
WXYZ
AAAA
19:09:02
XXXX
ZZZZ

或者以更好的方式:

column1   text1  text2
19:08:40  WXYZ   AAAA
19:09:02  XXXX   ZZZZ

我不确定如何解决这个问题,

我考虑过使用.shift(2)来比较行,但是它不起作用。 还考虑过运行一个迭代循环,例如:

for index,rows in df.iterrows():
  current_row = rows
  ###Check for alternate row, if this contains time value remove them.

但这不是尝试解决此问题的正确方法。任何帮助或指示,表示赞赏。

2 个答案:

答案 0 :(得分:2)

尝试:

grp = df['column1'].str.match('\d{2}:\d{2}:\d{2}').cumsum()
m = df.groupby(grp)['column1'].transform('count') > 2
df.loc[m]

输出:

    column1
2  19:08:40
3      WXYZ
4      AAAA
5  19:09:02
6      XXXX
7      ZZZZ

详细信息:

  • 首先通过使用正则表达式来匹配“时间”的模式来创建组,然后 总计以将记录分组或一起阻止。
  • 接下来使用groupby和transform计算每个行的行数 组
  • 最后,根据数字使用布尔索引来过滤数据帧 每个gorup中的记录数量。

更新要进一步进行:

df['grp'] = df['column1'].str.match('\d{2}:\d{2}:\d{2}').cumsum()
m = df.groupby('grp')['column1'].transform('count') > 2
df_out = df.loc[m].copy()
df_out['time'] = df_out['column1'].str.extract('(\d{2}:\d{2}:\d{2})').ffill()
df_out = df_out.query('column1 != time')
df_out.set_index(['time', df_out.groupby('time').cumcount()+1])['column1'].unstack().add_prefix('text')

输出:

         text1 text2
time                
19:08:40  WXYZ  AAAA
19:09:02  XXXX  ZZZZ

答案 1 :(得分:2)

您可以结合条件并重建一个DataFrame,

cond1 = (df['column1'].str.contains('\d+')) & (df['column1'].shift(-1).str.contains('[A-Za-z]+')) & (df['column1'].shift(-2).str.contains('[A-Za-z]+')).fillna(False)

column1_idx = df[cond1].index
text1_idx = df[cond1].index+1
text2_idx = df[cond1].index+2

pd.DataFrame({'column1':df.iloc[column1_idx,0].reset_index(drop = True), 'text1':df.iloc[text1_idx,0].reset_index(drop = True),'text2':df.iloc[text2_idx,0].reset_index(drop = True)})
df[cond1]

    column1     text1   text2
0   19:08:40    WXYZ    AAAA
1   19:09:02    XXXX    ZZZZ