排除后续重复的行

时间:2015-05-15 13:14:54

标签: r conditional duplicate-data

我想排除所有重复的行。但是,只有当它们是后续行时才必须如此。遵循一个代表性的例子:

我的输入df

    df <- "NAME   VALUE 
    Prb1  0.05
    Prb2  0.05
    Prb3  0.05
    Prb4  0.06
    Prb5  0.06
    Prb6  0.01
    Prb7  0.10
    Prb8  0.05"

df <- read.table(text=df, header=T)

我的预期outdf

outdf <- "NAME   VALUE 
Prb1  0.05
Prb4  0.06
Prb6  0.01
Prb7  0.10
Prb8  0.05"

outdf <- read.table(text=df, header=T)

6 个答案:

答案 0 :(得分:14)

rle()是一个很好的函数,用于识别相同值的运行,但将它的输出转换为可用的形式可能会很麻烦。这是相对无痛咒语,适用于您的情况。

df[sequence(rle(df$VALUE)$lengths) == 1, ]
#   NAME VALUE
# 1 Prb1  0.05
# 4 Prb4  0.06
# 6 Prb6  0.01
# 7 Prb7  0.10
# 8 Prb8  0.05

答案 1 :(得分:10)

解决此问题的方法可能很多,我会尝试rleid/unique devel version

中的data.table组合
library(data.table) ## v >= 1.9.5
unique(setDT(df)[, indx := rleid(VALUE)], by = "indx")
#    NAME VALUE indx
# 1: Prb1  0.05    1
# 2: Prb4  0.06    2
# 3: Prb6  0.01    3
# 4: Prb7  0.10    4
# 5: Prb8  0.05    5

或者来自评论的一些好建议:

仅使用新的shift函数

setDT(df)[VALUE != shift(VALUE, fill = TRUE)]

或使用duplicated结合rleid

setDT(df)[!duplicated(rleid(VALUE)), ]

答案 2 :(得分:8)

这个怎么样:

> df[c(T, df[-nrow(df),-1] != df[-1,-1]), ]
  NAME VALUE
1 Prb1  0.05
4 Prb4  0.06
6 Prb6  0.01
7 Prb7  0.10
8 Prb8  0.05

此处,df[-nrow(df),-1] != df[-1,-1]查找包含不同值的连续行对,其余代码从数据帧中提取它们。

答案 3 :(得分:4)

我会使用类似于@NPE&#39; s

的解决方案
df[c(TRUE,abs(diff(df$VALUE))>1e-6),]

当然,您可以使用任何其他容差级别(1e-6除外)。

答案 4 :(得分:2)

前一段时间我遇到了这个很好的函数,它将行标记为首先基于指定的变量:

  isFirst <- function(x,...) {
      lengthX <- length(x)
      if (lengthX == 0) return(logical(0))
      retVal <- c(TRUE, x[-1]!=x[-lengthX])
      for(arg in list(...)) {
          stopifnot(lengthX == length(arg))
          retVal <- retVal | c(TRUE, arg[-1]!=arg[-lengthX])
      }
      if (any(missing<-is.na(retVal))) # match rle: NA!=NA
          retVal[missing] <- TRUE
      retVal
  }

将其应用于您的数据会产生:

> df$first <- isFirst(df$VALUE)
> df
  NAME VALUE first
1 Prb1  0.05  TRUE
2 Prb2  0.05 FALSE
3 Prb3  0.05 FALSE
4 Prb4  0.06  TRUE
5 Prb5  0.06 FALSE
6 Prb6  0.01  TRUE
7 Prb7  0.10  TRUE
8 Prb8  0.05  TRUE

然后,您可以对第一列进行重复数据删除以获得预期的输出。

我发现这在过去非常有用,特别是来自SAS背景,这很容易做到。

答案 5 :(得分:2)

已经有很多好的答案,这里是dplyr版本:

filter(df,VALUE!=lag(VALUE,default=df$VALUE[1]+1))