Question

从我的问题here开始，我试图在R中复制Stata命令duplicates tag的功能，这允许我标记数据集的所有行，这些行是重复的一组给定的变量：

clear *
set obs 16
g f1 = _n
expand 104
bys f1: g f2 = _n
expand 2
bys f1 f2: g f3 = _n
expand 41
bys f1 f2 f3: g f4 = _n
des  // describe the dataset in memory

preserve
sample 10  // draw a 10% random sample
tempfile sampledata
save `sampledata', replace
restore

// append the duplicate rows to the data
append using `sampledata'
sort f1-f4

duplicates tag f1-f4, generate(dupvar)
browse if dupvar == 1  // check that all duplicate rows have been tagged

修改

这是Stata生产的（在@ Arun的要求下添加）：

f1   f2   f3   f4   dupvar  
 1    1    1    1        0  
 1    1    1    2        0  
 1    1    1    3        1  
 1    1    1    3        1  
 1    1    1    4        0  
 1    1    1    5        0  
 1    1    1    6        0  
 1    1    1    7        0  
 1    1    1    8        1  
 1    1    1    8        1

请注意，对于(f1, f2, f3, f4) = (1, 1, 1, 3)，有两行，并且这两行都标记为dupvar = 1。同样，对于(f1, f2, f3, f4) =(1, 1, 1, 8)重复的两行。

R：

基函数duplicated仅标记第二个副本。因此，我使用ddply编写了一个函数来复制R中的Stata功能。

# Values of (f1, f2, f3, f4) uniquely identify observations
dfUnique = expand.grid(f1 = factor(1:16),
            f2 = factor(1:41),
            f3 = factor(1:2),
            f4 = factor(1:104))

# sample some extra rows and rbind them
dfDup = rbind(dfUnique, dfUnique[sample(1:nrow(dfUnique), 100), ])

# dummy data 
dfDup$data = rnorm(nrow(dfDup))

# function: use ddply to tag all duplicate rows in the data
fnDupTag = function(dfX, indexVars) {
  dfDupTag = ddply(dfX, .variables = indexVars, .fun = function(x) {
    if(nrow(x) > 1) x$dup = 1 else x$dup = 0
    return(x)
  })
  return(dfDupTag)
}

# test the function
indexVars = paste0('f', 1:4, sep = '')
dfTemp = fnDupTag(dfDup, indexVars)

但是在链接问题中，性能是一个巨大的问题。 Another possible solution是

dfDup$dup = duplicated(dfDup[, indexVars]) | 
  duplicated(dfDup[, indexVars], fromLast = TRUE) 
dfDupSorted = with(dfDup, dfDup[order(eval(parse(text = indexVars))), ])

我有几个问题：
1.是否可以更快地ddply版本？
2.使用duplicated的第二个版本是否正确？对于重复行的两个以上副本？ 3.如何使用data.table执行此操作？会更快吗？

Answer 1

我会在这里回答你的第三个问题..（我认为第一个问题或多或少都在你的other post中得到了回答。）

## Assuming DT is your data.table
DT[, dupvar := 1L*(.N > 1L), by=c(indexVars)]

:=通过引用添加新列dupvar （因此非常快，因为没有制作副本）。 .N是data.table中的一个特殊变量，它提供属于每个组的观察数量（此处为每f1,f2,f3,f4个）。

花点时间浏览?data.table（并在那里运行示例）以了解其用法。它会在以后为你节省很多时间。

所以，基本上，我们按indexVars进行分组，检查是否.N > 1L，如果是这样，则返回TRUE。我们乘以1L返回integer而不是logical值。

如果需要，您还可以使用setkey按列进行排序。

从下一个版本（目前在v1.9.3中实现 - 开发版本）中，还有一个函数setorder导出只是对其进行排序data.table 引用，不设置密钥。它也可以按升序或降序排序。（请注意，setkey 始终仅按升序排序。）

也就是说，在下一个版本中你可以这样做：

setorder(DT, f1, f2, f3, f4) ## or equivalently setorderv(DT, c("f1", "f2", "f3", "f4"))

此外，使用DT[order(...)]也在内部进行了优化，以便使用data.table的快速排序。也就是说，内部检测到DT[order(...)]并更改为DT[forder(DT, ...)]，这比基本order快得多。因此，如果您不想通过引用更改它，并希望将已排序的data.table分配给另一个变量，您可以这样做：

DT_sorted <- DT[order(f1, f2, f3, f4)] ## internally optimised for speed ## but still copies!

HTH

Answer 2

我真的没有回答你的三个问题，但我可以节省你一些时间。我还在Stata和R之间分配时间，经常错过Stata的duplicates命令。但是如果你subset然后merge加all=TRUE，那么你可以节省很多时间。

以下是一个例子。

# my more Stata-ish approach
system.time({
    dupes <- dfDup[duplicated(dfDup[, 1:4]), 1:4]
    dupes$dup <- 1
    dfTemp2 <- merge(dfDup, dupes, all=TRUE)
    dfTemp2$dup <- ifelse(is.na(dfTemp2$dup), 0, dfTemp2$dup)
})

这要快得多。

> system.time({
+ fnDupTag = function(dfX, indexVars) {
+   dfDupTag = ddply(dfX, .variables = indexVars, .fun = function(x) {
+     if(nrow(x) > 1) x .... [TRUNCATED] 
   user  system elapsed 
 118.75    0.22  120.11 

> # my more Stata-ish approach
> system.time({
+     dupes <- dfDup[duplicated(dfDup[, 1:4]), 1:4]
+     dupes$dup <- 1
+     dfTemp2 <- merge(dfDup,  .... [TRUNCATED] 
   user  system elapsed 
   0.63    0.00    0.63

结果相同（取决于all.equal的精确度）。

> # compare
> dfTemp <- dfTemp[with(dfTemp, order(f1, f2, f3, f4, data)), ]

> dfTemp2 <- dfTemp2[with(dfTemp2, order(f1, f2, f3, f4, data)), ]
> all.equal(dfTemp, dfTemp2)
[1] "Attributes: < Component 2: Mean relative difference: 1.529748e-05 >"

在St中标记R中的所有重复行

修改

R：

2 个答案: