清理R数据框,以便在列中没有行值大于下一行值的2倍

时间:2015-01-29 17:21:14

标签: r dataframe data-manipulation data-cleaning

我有一个数据框,例如以下

dist <- c(1.1,1.0,10.0,5.0,2.1,12.2,3.3,3.4)
id <- rep("A",length(dist))
df<-cbind.data.frame(id,dist)

df

  id dist
1  A  1.1
2  A  1.0
3  A 10.0
4  A  5.0
5  A  2.1
6  A 12.2
7  A  3.3
8  A  3.4

我需要清理它,因此dist列中的行值不会更大 任何时候下一行值的2倍以上。清理过的数据框看起来像 像这样:

  id dist
1  A  1.1
2  A  1.0
5  A  2.1
7  A  3.3
8  A  3.4

我尝试使用for循环和if语句来创建一个函数来清理它

cleaner <-  function (df,dist,times_larger) {

              for (i in 1:(nrow(df)-1)) {

                  if (df$dist[i] > df$dist[i+1]*times_larger){
                    df<-df[-i,]
                    break       
                  }
              }
              df
            }

显然,如果我不打破循环,它会产生错误,因为 df中的行数将在此过程中更改。如果我手动运行循环 在df几次:

df<-cleaner(df,"dist",2)

它将按我的要求清理。

我也尝试了不同的函数结构,并将其应用于数据框,但没有运气。

是否有任何好的建议,如何重复数据框上的功能,直到它不再变化,更好的功能结构或更好的清洁方式?

非常感谢任何建议

3 个答案:

答案 0 :(得分:6)

您可以将dist列向左移动一个元素,将其乘以2,然后与原始dist进行比较:

subset(df,dist < c(2*dist[-1],Inf))
#  id dist
#1  A  1.1
#2  A  1.0
#5  A  2.1
#7  A  3.3
#8  A  3.4

答案 1 :(得分:5)

您可以尝试lead

中的dplyr
library(dplyr) #dplyr_0.4.0
filter(df, dist < 2 * lead(dist, default = Inf)) 
#    id dist
#1  A  1.1
#2  A  1.0
#3  A  2.1
#4  A  3.3
#5  A  3.4

或使用data.table中的类似方法。在data.table的devel版本中引入了一个新函数shift。我们可以将类型指定为lead。默认情况下,它是lagfill是NA。将fill修改为'Inf'(灵感来自@Marat Talipov的帖子)。

library(data.table) #data.table_1.9.5
setDT(df)[dist <2 *shift(dist,type='lead', fill=Inf)]
#   id dist
#1:  A  1.1
#2:  A  1.0
#3:  A  2.1
#4:  A  3.3
#5:  A  3.4

更新

如果'dist'的值等于下一个值的'2'倍,则上述解决方案将删除该行。在这种情况下,

setDT(df)[dist <2 *(shift(dist,type='lead',
             fill=Inf)+.Machine$double.eps)]
#    id dist
#1:  A  1.1
#2:  A  1.0
#3:  A  2.1
#4:  A  3.3
#5:  A  3.4

使用@Henrik评论的其他示例。

df1 <- data.frame(dist= as.numeric(3:1))
setDT(df1)[dist <2 *(shift(dist,type='lead', 
            fill=Inf)+.Machine$double.eps)]
#    dist
#1:    3
#2:    2
#3:    1

基准

set.seed(49)
df <- data.frame(id='A', dist=rnorm(1e7,20))
df1 <- copy(df)
akrun1 <- function() {filter(df, dist < 2 * lead(dist,
                                 default = Inf)) }
akrun2 <- function() {setDT(df1)[dist <2 *shift(dist,type='lead',
                                     fill=Inf)]}
marat <- function() {subset(df,dist < c(2*dist[-1],Inf))}
Colonel <- function() {df[with(df, dist<2*c(dist[-1], tail(dist,1))),]}

library(microbenchmark)
microbenchmark(akrun1(), akrun2(), marat(), Colonel(), 
                                unit='relative', times=20L)
#Unit: relative
#    expr      min       lq     mean   median       uq      max neval  cld
# akrun1() 2.029087 1.990739 1.864697 1.965247 1.773722 1.727474    20  b  
# akrun2() 1.000000 1.000000 1.000000 1.000000 1.000000 1.000000    20  a   
# marat() 8.032147 8.137982 7.359821 7.937062 7.134686 5.837623     20  d
#Colonel() 7.094465 7.045000 6.473552 6.903460 6.197737 5.359575    20  c 

答案 2 :(得分:3)

基础R解决方案:

> df[with(df, dist<2*c(dist[-1], tail(dist,1))),]
  id dist
1  A  1.1
2  A  1.0
5  A  2.1
7  A  3.3
8  A  3.4

如果没有零元素:

df[with(df, dist/c(dist[-1], tail(dist,1)))<2,]