Question

当他们拥有相同的姓名，姓氏和名字时，我会尝试匹配这些人，并保留ID的最小数值。

我在下面创建了一个测试数据库（比我的实际数据集小得多）并编写了一个嵌套的for循环，看起来它正在做它应该做的事情。

但它在较大的数据集上很慢。

我对应用函数相对较新，但它们在应用函数方面似乎比数据争论更直观。

对于我在这里做的事情，有什么更有效的选择？我确信有一个简单的解决方案可以让我在这里摇头询问，但我不会来这里。

dta.test<- NULL
dta.test$Person_id <- c(1,2,3,4,5,6,7,8,9,10, 11)
dta.test$FirstName <- c("John", "James", "John", "Alex", "Alexander", "Jonathan", "John", "Alex", "James", "John", "John")
dta.test$LastName <- c("Smith", "Jones", "Jones", "Jones", "Jones", "Smith", "Jones", "Smith", "Johnson", "Smith", "Smith")
dta.test$DOB <- c("2001-01-01", "2002-01-01", "2003-01-01", "2004-01-01", "2004-01-01", "2001-01-01", "2003-01-01", "2006-01-01", "2006-01-01", "2001-01-01", "2009-01-01")
dta.test$Actual_ID <- c(1, 2, 3, 4, 5, 6, 3, 8, 9, 1, 11)
dta.test <- as.data.frame(dta.test)

for(i in unique(dta.test$FirstName))
  for(j in unique(dta.test$LastName))
    for (k in unique (dta.test$DOB))
{
  {
    {
       dta.test$Person_id[dta.test$FirstName==i & dta.test$LastName==j & dta.test$DOB==k] <- min(dta.test$Person_id[dta.test$FirstName==i & dta.test$LastName==j & dta.test$DOB==k], na.rm=T)
    }
  }
}

Answer 1

这是一个dplyr解决方案

library(dplyr)
dta.test %>%
  group_by(FirstName, LastName, DOB) %>%
  mutate(Person_id = min(Person_id))

# A tibble: 11 x 5
# Groups: FirstName, LastName, DOB [9]
   # Person_id FirstName LastName DOB        Actual_ID
       # <dbl> <fct>     <fct>    <fct>          <dbl>
 # 1        1. John      Smith    2001-01-01        1.
 # 2        2. James     Jones    2002-01-01        2.
 # 3        3. John      Jones    2003-01-01        3.
 # 4        4. Alex      Jones    2004-01-01        4.
 # 5        5. Alexander Jones    2004-01-01        5.
 # 6        6. Jonathan  Smith    2001-01-01        6.
 # 7        3. John      Jones    2003-01-01        3.
 # 8        8. Alex      Smith    2006-01-01        8.
 # 9        9. James     Johnson  2006-01-01        9.
# 10        1. John      Smith    2001-01-01        1.
# 11       11. John      Smith    2009-01-01       11.

编辑 - 添加了效果比较

for_loop_approach <- function() {
    for(i in unique(dta.test$FirstName))
      for(j in unique(dta.test$LastName))
        for (k in unique (dta.test$DOB))
    {
      {
        {
           dta.test$Person_id[dta.test$FirstName==i & dta.test$LastName==j & dta.test$DOB==k] <- min(dta.test$Person_id[dta.test$FirstName==i & dta.test$LastName==j & dta.test$DOB==k], na.rm=T)
        }
      }
    }
}

dplyr_approach <- function() {
    require(dplyr)
    dta.test %>%
      group_by(FirstName, LastName, DOB) %>%
      mutate(Person_id = min(Person_id))
}

library(microbenchmark)
microbenchmark(for_loop_approach(), dplyr_approach(), unit="relative", times=100L)

Unit: relative
                expr      min      lq    mean   median       uq      max neval
 for_loop_approach() 20.97948 20.6478 18.8189 17.81437 17.91815 11.76743   100
    dplyr_approach()  1.00000  1.0000  1.0000  1.00000  1.00000  1.00000   100
There were 50 or more warnings (use warnings() to see the first 50)

Answer 2

我实现了一个基础R方法而不是dplyr，它出来了（根据microbenchmark）比CPak的dplyr方法快7.46倍，比for循环方法快139.4倍。我刚刚使用match和paste0函数来实现此功能，它会自动保留最小的匹配ID：

  dta.test[, "Actual_id"] <- match(paste0(dta.test$FirstName, dta.test$LastName, dta.test$DOB), paste0(dta.test$FirstName, dta.test$LastName, dta.test$DOB))

这种方法也可以直接输出到数据框，而不是输出（您需要从中提取新列并添加到数据框中）：

   Person_id FirstName LastName        DOB Actual_id
1          1      John    Smith 2001-01-01         1
2          2     James    Jones 2002-01-01         2
3          3      John    Jones 2003-01-01         3
4          4      Alex    Jones 2004-01-01         4
5          5 Alexander    Jones 2004-01-01         5
6          6  Jonathan    Smith 2001-01-01         6
7          7      John    Jones 2003-01-01         3
8          8      Alex    Smith 2006-01-01         8
9          9     James  Johnson 2006-01-01         9
10        10      John    Smith 2001-01-01         1
11        11      John    Smith 2009-01-01        11

在您的真实数据中，我希望person id不是那么简单（不仅仅是一个整数），并且不按数字顺序运行，例如

dta.test$Person_id <- paste0(LETTERS[1:11],1:11)

您需要进行一些小调整才能使其仍然有用，以便从Person_id列中提取值：

dta.test[, "Actual_id"] <- dta.test[match(paste0(dta.test$FirstName, dta.test$LastName, dta.test$DOB), paste0(dta.test$FirstName, dta.test$LastName, dta.test$DOB)), "Person_id"]

，并提供：

   Person_id FirstName LastName        DOB Actual_id
1         A1      John    Smith 2001-01-01        A1
2         B2     James    Jones 2002-01-01        B2
3         C3      John    Jones 2003-01-01        C3
4         D4      Alex    Jones 2004-01-01        D4
5         E5 Alexander    Jones 2004-01-01        E5
6         F6  Jonathan    Smith 2001-01-01        F6
7         G7      John    Jones 2003-01-01        C3
8         H8      Alex    Smith 2006-01-01        H8
9         I9     James  Johnson 2006-01-01        I9
10       J10      John    Smith 2001-01-01        A1
11       K11      John    Smith 2009-01-01       K11

Answer 3

对于包含大量组的大型数据，数据表解决方案可能最快：

library(data.table)
setDT(dta.test, key = c("FirstName", "LastName", "DOB"))
dta.test[, Actual_ID := min(Person_id, na.rm = TRUE), by = .(FirstName, LastName, DOB)]

在R匹配中比嵌套for循环更有效的方法

3 个答案: