来自dplyr的子集和过滤器之间的差异

时间:2016-10-05 19:47:49

标签: r filter subset

在我看来,子集和过滤器(来自dplyr)具有相同的结果。 但我的问题是:在某些方面存在潜在的差异,例如。速度,它可以处理的数据大小等?是否有时候使用其中一种更好?

示例:

library(dplyr)

df1<-subset(airquality, Temp>80 & Month > 5)
df2<-filter(airquality, Temp>80 & Month > 5)

summary(df1$Ozone)
# Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
# 9.00   39.00   64.00   64.51   84.00  168.00      14 

summary(df2$Ozone)
# Min. 1st Qu.  Median    Mean 3rd Qu.    Max.    NA's 
# 9.00   39.00   64.00   64.51   84.00  168.00      14 

6 个答案:

答案 0 :(得分:41)

实际上,它们产生了相同的结果,它们在概念上非常相似。

subset的优点是它是基础R的一部分,不需要任何额外的包。样本量较小,似乎比filter快一点(在您的示例中快6倍,但以微秒为单位)。

随着数据集的增长,filter似乎在效率方面占据上风。在15,000条记录中,filter超过subset约300微秒。在153,000条记录中,filter的速度提高了三倍(以毫秒为单位)。

所以就人类时间而言,我认为两者之间没有太大区别。

另一个优点(这是一个利基优势)是filter可以在SQL数据库上运行而无需将数据拉入内存。 subset根本不这样做。

就个人而言,我倾向于使用filter,但仅仅因为我已经在使用dplyr框架。如果您不使用内存不足的数据,则不会产生太大影响。

library(dplyr)
library(microbenchmark)

# Original example
microbenchmark(
  df1<-subset(airquality, Temp>80 & Month > 5),
  df2<-filter(airquality, Temp>80 & Month > 5)
)

Unit: microseconds
   expr     min       lq     mean   median      uq      max neval cld
 subset  95.598 107.7670 118.5236 119.9370 125.949  167.443   100  a 
 filter 551.886 564.7885 599.4972 571.5335 594.993 2074.997   100   b


# 15,300 rows
air <- lapply(1:100, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: microseconds
   expr      min        lq     mean   median       uq      max neval cld
 subset 1187.054 1207.5800 1293.718 1216.671 1257.725 2574.392   100   b
 filter  968.586  985.4475 1056.686 1023.862 1036.765 2489.644   100  a 

# 153,000 rows
air <- lapply(1:1000, function(x) airquality) %>% bind_rows

microbenchmark(
  df1<-subset(air, Temp>80 & Month > 5),
  df2<-filter(air, Temp>80 & Month > 5)
)

Unit: milliseconds
   expr       min        lq     mean    median        uq      max neval cld
 subset 11.841792 13.292618 16.21771 13.521935 13.867083 68.59659   100   b
 filter  5.046148  5.169164 10.27829  5.387484  6.738167 65.38937   100  a 

答案 1 :(得分:24)

尚未提及的另一个区别是过滤器会丢弃rownames,而子集则不会:

filter(mtcars, gear == 5)

  mpg    cyl   disp      hp  drat wt    qsec  vs am   gear carb
1 26.0   4     120.3     91  4.43 2.140 16.7  0  1    5    2
2 30.4   4     95.1      113 3.77 1.513 16.9  1  1    5    2
3 15.8   4     351.0     264 4.22 3.170 14.5  0  1    5    4
4 19.7   4     145.0     175 3.62 2.770 15.5  0  1    5    6
5 15.0   4     301.0     335 3.54 3.570 14.6  0  1    5    8

subset(mtcars, gear == 5)
               mpg    cyl   disp      hp  drat wt    qsec vs  am   gear carb
Porsche 914-2  26.0   4     120.3     91  4.43 2.140 16.7  0  1    5    2
Lotus Europa   30.4   4     95.1      113 3.77 1.513 16.9  1  1    5    2
Ford Pantera L 15.8   4     351.0     264 4.22 3.170 14.5  0  1    5    4
Ferrari Dino   19.7   4     145.0     175 3.62 2.770 15.5  0  1    5    6
Maserati Bora  15.0   4     301.0     335 3.54 3.570 14.6  0  1    5    8

答案 2 :(得分:3)

在主要用例中,它们的行为相同:

library(dplyr)
identical(
  filter(starwars, species == "Wookiee"),
  subset(starwars, species == "Wookiee"))
# [1] TRUE

但是它们之间有很多差异,包括(我尽可能详尽,但可能会错过一些):

  • subset可用于矩阵
  • filter可以在数据库上使用
  • filter删除行名
  • subset有一个select参数
  • subset回收其条件参数
  • filter支持将条件作为单独的参数
  • filter支持对.data代词的使用
  • filter支持某些rlang功能
  • filter支持分组
  • filter支持n()row_number()
  • filter更加严格
  • filter算起来要快一点
  • subset在其他软件包中有方法

subset可用于矩阵

subset(state.x77, state.x77[,"Population"] < 400)
#         Population Income Illiteracy Life Exp Murder HS Grad Frost   Area
# Alaska         365   6315        1.5    69.31   11.3    66.7   152 566432
# Wyoming        376   4566        0.6    70.29    6.9    62.9   173  97203

尽管在subset参数中不能将列直接用作变量

subset(state.x77, Population < 400)
  

subset.matrix(state.x77,人口<400)中的错误:对象   找不到“人口”

两者均不适用于filter

filter(state.x77, state.x77[,"Population"] < 400)
  

UseMethod(“ filter_”)中的错误:'filter_'没有适用的方法   应用于类“ c('matrix','double','numeric')”的对象

filter(state.x77, Population < 400)
  

UseMethod(“ filter_”)中的错误:'filter_'没有适用的方法   应用于类“ c('matrix','double','numeric')”的对象

filter可以在数据库上使用

library(DBI)
con <- dbConnect(RSQLite::SQLite(), ":memory:")
dbWriteTable(con, "mtcars", mtcars)
tbl(con,"mtcars") %>% 
  filter(hp < 65)

# # Source:   lazy query [?? x 11]
# # Database: sqlite 3.19.3 [:memory:]
#       mpg   cyl  disp    hp  drat    wt  qsec    vs    am  gear  carb
#     <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
#   1  24.4     4 146.7    62  3.69 3.190 20.00     1     0     4     2
#   2  30.4     4  75.7    52  4.93 1.615 18.52     1     1     4     2

subset不能

tbl(con,"mtcars") %>% 
  subset(hp < 65)
  

subset.default(。,hp <65)中的错误:未找到对象'hp'

filter删除行名

filter(mtcars, hp < 65)
#    mpg cyl  disp hp drat    wt  qsec vs am gear carb
# 1 24.4   4 146.7 62 3.69 3.190 20.00  1  0    4    2
# 2 30.4   4  75.7 52 4.93 1.615 18.52  1  1    4    2

subset

subset(mtcars, hp < 65)
#              mpg cyl  disp hp drat    wt  qsec vs am gear carb
# Merc 240D   24.4   4 146.7 62 3.69 3.190 20.00  1  0    4    2
# Honda Civic 30.4   4  75.7 52 4.93 1.615 18.52  1  1    4    2

subset有一个select参数

虽然dplyr遵循tidyverse原则,旨在使每个功能都做一件事情,所以select是一个单独的功能。

identical(
subset(starwars, species == "Wookiee", select = c("name", "height")),
filter(starwars, species == "Wookiee") %>% select(name, height)
)
# [1] TRUE

它还有一个drop参数,这在使用select参数的上下文中最有意义。

subset回收其条件参数

half_iris <- subset(iris,c(TRUE,FALSE))
dim(iris) # [1] 150   5
dim(half_iris) # [1] 75  5

filter

half_iris <- filter(iris,c(TRUE,FALSE))
  

filter_impl(.data,quo)中的错误:结果的长度必须为150,而不是2

filter支持将条件作为单独的参数

条件被馈送到...,因此我们可以将几个条件作为不同的参数,这与使用&相同,但有时由于逻辑运算符优先级和自动标识而更具可读性。

identical(
  subset(starwars, 
         (species == "Wookiee" | eye_color == "blue") &
           mass > 120),
  filter(starwars, 
         species == "Wookiee" | eye_color == "blue", 
         mass > 120)
)

filter支持对.data代词的使用

mtcars %>% filter(.data[["hp"]] < 65)

#    mpg cyl  disp hp drat    wt  qsec vs am gear carb
# 1 24.4   4 146.7 62 3.69 3.190 20.00  1  0    4    2
# 2 30.4   4  75.7 52 4.93 1.615 18.52  1  1    4    2

filter支持某些rlang功能

x <- "hp"
library(rlang)
mtcars %>% filter(!!sym(x) < 65)
# m   pg cyl  disp hp drat    wt  qsec vs am gear carb
# 1 24.4   4 146.7 62 3.69 3.190 20.00  1  0    4    2
# 2 30.4   4  75.7 52 4.93 1.615 18.52  1  1    4    2


filter65 <- function(data,var){
  data %>% filter(!!enquo(var) < 65)
}
mtcars %>% filter65(hp)
#    mpg cyl  disp hp drat    wt  qsec vs am gear carb
# 1 24.4   4 146.7 62 3.69 3.190 20.00  1  0    4    2
# 2 30.4   4  75.7 52 4.93 1.615 18.52  1  1    4    2

filter支持分组

iris %>%
  group_by(Species) %>%
  filter(Petal.Length < quantile(Petal.Length,0.01))

# # A tibble: 3 x 5
# # Groups:   Species [3]
#   Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
#          <dbl>       <dbl>        <dbl>       <dbl>     <fctr>
# 1          4.6         3.6          1.0         0.2     setosa
# 2          5.1         2.5          3.0         1.1 versicolor
# 3          4.9         2.5          4.5         1.7  virginica

iris %>%
  group_by(Species) %>%
  subset(Petal.Length < quantile(Petal.Length,0.01))

# # A tibble: 2 x 5
# # Groups:   Species [1]
#     Sepal.Length Sepal.Width Petal.Length Petal.Width Species
#            <dbl>       <dbl>        <dbl>       <dbl>  <fctr>
#   1          4.3         3.0          1.1         0.1  setosa
#   2          4.6         3.6          1.0         0.2  setosa

filter支持n()row_number()

filter(iris, row_number() < n()/30)
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1          5.1         3.5          1.4         0.2  setosa
# 2          4.9         3.0          1.4         0.2  setosa
# 3          4.7         3.2          1.3         0.2  setosa
# 4          4.6         3.1          1.5         0.2  setosa

filter更加严格

如果输入可疑,则会触发错误。

filter(iris, Species = "setosa")
# Error: `Species` (`Species = "setosa"`) must not be named, do you need `==`?

identical(subset(iris, Species = "setosa"), iris)
# [1] TRUE

df1 <- setNames(data.frame(a = 1:3, b=5:7),c("a","a"))
# df1
# a a
# 1 1 5
# 2 2 6
# 3 3 7

filter(df1, a > 2)
#Error: Column `a` must have a unique name
subset(df1, a > 2)
# a a.1
# 3 3   7

filter算起来要快一点

借用本杰明在他的答案中构建的数据集(15.3万行),它的速度快两倍,尽管它很少会成为瓶颈。

air <- lapply(1:1000, function(x) airquality) %>% bind_rows
microbenchmark::microbenchmark(
  subset = subset(air, Temp>80 & Month > 5),
  filter = filter(air, Temp>80 & Month > 5)
)

# Unit: milliseconds
#   expr      min        lq      mean    median        uq      max neval cld
# subset 8.771962 11.551255 19.942501 12.576245 13.933290 108.0552   100   b
# filter 4.144336  4.686189  8.024461  6.424492  7.499894 101.7827   100  a 

subset在其他软件包中有方法

subset是S3的泛型,就像dplyr::filter一样,但是subset作为基本函数更可能在其他软件包中开发方法,一个突出的例子是{{1 }}。

答案 3 :(得分:1)

有趣。我试图看到结果数据集的差异,我不能解释为什么&#34; [&#34;运算符的行为方式不同(即为什么它也返回了NA):

# Subset for year=2013
sub<-brfss2013 %>% filter(iyear == "2013")
dim(sub)
#[1] 486088    330
length(which(is.na(sub$iyear))==T)
#[1] 0

sub2<-filter(brfss2013, iyear == "2013")
dim(sub2)
#[1] 486088    330
length(which(is.na(sub2$iyear))==T)
#[1] 0

sub3<-brfss2013[brfss2013$iyear=="2013", ]
dim(sub3)
#[1] 486093    330
length(which(is.na(sub3$iyear))==T)
#[1] 5

sub4<-subset(brfss2013, iyear=="2013")
dim(sub4)
#[1] 486088    330
length(which(is.na(sub4$iyear))==T)
#[1] 0

答案 4 :(得分:0)

区别还在于,在dplyr中有两个不同的功能时,子集比过滤还可以选择和删除更多的功能

subset(df, select=c("varA", "varD"))

dplyr::select(df,varA, varD)

答案 5 :(得分:0)

filter的另一个优点是它可以很好地处理分组数据。 subset忽略分组。

因此,将数据分组后,subset仍将引用整个数据,而filter仅将引用该组。

# setup
library(tidyverse)

data.frame(a = 1:2) %>% group_by(a) %>% subset(length(a) == 1) 
# returns empty table

data.frame(a = 1:2) %>% group_by(a) %>% filter(length(a) == 1) 
# returns all rows