Question

我有一个由不同个体组成的数据集，每个人都有一个唯一的ID。每个人都可以在数据集中多次出现，但我的理解是，除了一个或两个变量（每个人大约有80个）之外，对于数据集中相同用户ID的每个条目，值应该相同。

如果可以，我想尝试折叠数据。我的主要障碍是我需要回填的某些空值。我正在寻找一个可以实现重复数据删除功能的功能：

# Build sample dataset
df1 = data.frame(id=rep(1:6,2)                 
                ,classA=rep(c('a','b'),6)
                ,classB=rep(c(1001:1006),2)
                )
df1= df1[order(df1$id),]
df1$classC=c('a',NA,'b',NA,NA,NA,'e','d', NA, 'f', NA, NA)
df1[10,"classB"]=NA
df1=df1[df1$id!=6,]

#sample dataset
> df1
   id classA classB classC
1   1      a   1001      a
7   1      a   1001   <NA>
2   2      b   1002      b
8   2      b   1002   <NA>
3   3      a   1003   <NA>
9   3      a   1003   <NA>
4   4      b   1004      e
10  4      b   1004      d
5   5      a   1005   <NA>
11  5      a     NA      f        

# what I'm looking for
> deduplicate(df1, on='id')
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      d
5  4      b   1004      e
6  5      a   1005      f

Answer 1

这个怎么样？（使用data.table的解决方案）

require(data.table)
DT <- data.table(df1)
# ignore the warning here...
unique(DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id])

   id classA classB classC
1:  1      a   1001      a
2:  2      b   1002      b
3:  3      a   1003     NA
4:  4      b   1004      e
5:  4      b   1004      d
6:  5      a   1005      f

一些解释：

by = id部分将您的data.table DT拆分/分组到id。
.SD是一个只读变量，可以自动为每个id一次选取每个分组/组。
因此，我们将DT拆分为id，并使用lapply（以获取每列）并删除所有NA。现在，如果您说a, NA，那么NA将被删除，并返回a。但输入长度为2（a, NA）。因此，它会自动回收 a以适合大小（= 2）。所以，基本上我们用一些已经存在的值替换所有NA。如果两者都是NA（例如NA, NA），则会返回NA（再次通过回收）。
如果你看一下这部分DT[, lapply(.SD, function(x) x[!is.na(x)]), by = id]，你应该能够理解已经做了什么。每个NA都将被替换。因此，我们需要做的就是接收unique行。这就是为什么它包裹着unique。

希望这会有所帮助。你需要进行一些实验才能更好地理解。我建议从这里开始：DT[, print(.SD), by=id]

最终解决方案：

我刚刚意识到，如果你有id=4另一行classC = NA（其他一切都相同），上面的解决方案将无效。这是由于回收问题而发生的。这段代码应该修复它。

unique(DT[, lapply(.SD, function(x) {x[is.na(x)] <- x[!is.na(x)][1]; x}), by = id])

Answer 2

我会先检查是否有行重复的 ID 和缺少classC 并将其删除，如下所示：

dd <- df1[duplicated(df1[,1]) & is.na(df1$classC), ]
df1[setdiff(rownames(df1), rownames(dd)), ]
  id classA classB classC
1  1      a   1001      a
2  2      b   1002      b
3  3      a   1003   <NA>
4  4      b   1004      e
8  4      b   1004      d

修改

我认为对于许多列来概括上述内容，一个想法是使用melt将数据设置为长格式，例如：

library(reshape2) dat.m <- melt(df1,id.vars='id') dd <- dat.m[order(dat.m$id),] rr <- dd[duplicated(dd$id) & is.na(dd$value),] kk <- dd[setdiff(rownames(dd), rownames(rr)), ] kk <- kk[!duplicated(kk),] dcast(kk,id~variable,drop=FALSE,fun.aggregate=list,fill=list(NA)) id classA classB classC 1 1 a 1001 a 2 2 b 1002 b 3 3 a 1003 NA 4 4 b 1004 e, d 5 5 a 1005 f

最终结果与您想要的输出略有不同，但您可以通过一些工作来获得它（例如strsplit）。

在R数据帧中对记录进行重复数据删除/折叠

2 个答案:

最终解决方案：