删除相似的列数值匹配熊猫

时间:2021-01-04 13:25:29

标签: python pandas numpy machine-learning data-science

对于下面的 Pandas 数据框,我想删除 videoview 值相等且四列中的两列 left, width, top, height 彼此相差 +-1 以内的所有行.因此,在下面的示例中,第二行 (width, height) 为 (20, 14),第三行 (width, height) 为 (21, 15),因此应删除这两行之一,因为这些行共享widthheight 列中的 +-1 值。

view     video                      left    width  top    height
Endzone  57906_000718_Endzone.mp4   372     17      279     17
Endzone  57906_000718_Endzone.mp4   851     20      273     14
Endzone  57906_000718_Endzone.mp4   853     21      271     15
Endzone  57906_000718_Endzone.mp4   855     21.     267     16
Endzone  57906_000718_Endzone.mp4   857     21.     265     17
Sideline 57906_000718_Sideline.mp4  763     18.     98      26
...

样本输出,输出可能因移除方法而异:

view     video                      left    width  top    height
Endzone  57906_000718_Endzone.mp4   372     17      279     17
Endzone  57906_000718_Endzone.mp4   851     20      273     14
Endzone  57906_000718_Endzone.mp4   857     21.     265     17
Sideline 57906_000718_Sideline.mp4  763     18.     98      26
...

谢谢!

2 个答案:

答案 0 :(得分:1)

不知道这是否足够准确。它不一定会删除 1 秒内的所有实例,但一些小的调整可以解决问题。另外,我有点假设您更关心“宽度/高度”和“左/上”分组,而不是这四个组合中的任何组合。无论如何,您只需要为您真正关心的任何组重新进行此转换,直到所有排列。为简洁起见,我省略了“左/上”分组,但这只是重复。

> df[df.index.isin(df[['view', 'video']].join(df[['width', 'height']]//2).drop_duplicates().index)
       view                      video  left  width  top  height
0   Endzone   57906_000718_Endzone.mp4   372   17.0  279      17
1   Endzone   57906_000718_Endzone.mp4   851   20.0  273      14
3   Endzone   57906_000718_Endzone.mp4   855   21.0  267      16
5  Sideline  57906_000718_Sideline.mp4   763   18.0   98      26

答案 1 :(得分:1)

创建两个蒙版:

  • 对于viewvideo:使用.shift+.eq检查上一行是否相同
  • 对于 dimensionsdiff 前一行并检查其中是否有任何两个在 [-1,1] 中

col1_2_mask = df[["view","video"]].shift(1).eq(df[["view","video"]]).sum(1)<2
lwth_mask = df.iloc[:,2:].diff().isin(range(-1,2)).sum(1)<2
df[col1_2_mask | lwth_mask]