Question

我试图从数据框/矩阵中删除与其他一些值/类不同的值。

这是一个示例初始表：

  P    |   V
------ | ------
par    | 123
par    | 1234
par    | 12345
par    | 123456
pat    | 123
pat    | 1234
pat    | 12345
pat    | 1234567
pay    | 123456
pay    | 789
pay    | 967

正如您所看到的，有些值（V列）是唯一的并且与P列的某些值不同。这些值是

  P    |   V
------ | ------
pat    | 1234567
pay    | 789
pay    | 967

这是预期的输出。

为了得到这个，我使用了聚合函数（见下文））但实际数据要大得多。它们可以达到2-3百万行甚至更多。

您是否认为以下代码可以正常工作并使用如此多的数据进行响应，还是有另一种方法可以提高效率？

mat = c("par","par","par","par","pat","pat","pat","pat","pay","pay","pay")
mat = as.data.frame(cbind("P"=mat, "V"=c("123","1234","12345","123456","123","1234","12345","1234567","123456","789","967")))

uniquePs = matrix(unique(mat$P))
diff = aggregate(P~V, mat, FUN=unique)
distinctVs = diff[which( grepl(":|," , as.character(diff$P) ) == FALSE ),]
distinctVs$P = uniquePs[as.numeric(distinctVs$P)]

谢谢。

Answer 1

这是您可以使用的不同方法。在2-3百万行的效率方面应该没问题：

subset(df, ave(as.character(P), V, FUN = function(x) length(unique(x))) == 1L)
#     P       V
#8  pat 1234567
#10 pay     789
#11 pay     967

这是基础R中更简单的方法：

subset(unique(df), !(duplicated(V) | duplicated(V, fromLast = TRUE)))
#     P       V
#8  pat 1234567
#10 pay     789
#11 pay     967

Answer 2

也许我们需要

library(data.table)
setDT(df1)[, .SD[uniqueN(P)==1], V]
#        V   P
#1: 1234567 pat
#2:     789 pay
#3:     967 pay

这种聚合方法是否能够有效地处理数百万个数据？

2 个答案: