Question

我有一个名为A的data.frame，其中有5000列。如何在此data.frame中找到彼此相等的列。

Answer 1

正如@John所说，使用duplicated时存在问题。我想补充一点，转换data.frame会强制所有数据进入相同的数据类型，然后再与duplicated进行比较。例如，这是一个data.frame：

df <- data.frame( a = LETTERS[1:3],
                  b = 1:3,
                  c = as.character(1:3),
                  d = LETTERS[1:3],
                  e = 1:3,
                  f = 1:3)
df
#   a b c d e f
# 1 A 1 1 A 1 1
# 2 B 2 2 B 2 2
# 3 C 3 3 C 3 3

请注意，列c与列b，e和f非常相似，但由于类型不同（字符与数字）不同，因此不相同。 @Jubbles建议的解决方案会忽略这些差异。

相反，在data.frame的列上使用identical函数似乎更合适。您可以使用outer来比较两列：

are.cols.identical <- function(col1, col2) identical(df[,col1], df[,col2])
identical.mat      <- outer(colnames(df), colnames(df),
                            FUN = Vectorize(are.cols.identical))
identical.mat
# [,1]  [,2]  [,3]  [,4]  [,5]  [,6]
# [1,]  TRUE FALSE FALSE  TRUE FALSE FALSE
# [2,] FALSE  TRUE FALSE FALSE  TRUE  TRUE
# [3,] FALSE FALSE  TRUE FALSE FALSE FALSE
# [4,]  TRUE FALSE FALSE  TRUE FALSE FALSE
# [5,] FALSE  TRUE FALSE FALSE  TRUE  TRUE
# [6,] FALSE  TRUE FALSE FALSE  TRUE  TRUE

从这里，您可以使用群集来识别相同列的组（可能有更好的方法，所以如果您知道一个，请随意评论甚至编辑我的答案。）

library(cluster)
distances <- as.dist(!identical.mat)
tree      <- hclust(distances)
cut       <- cutree(tree, h = 0.5)
cut
# [1] 1 2 3 1 2 2

split(colnames(df), cut)
# $`1`
# [1] "a" "d"
# 
# $`2`
# [1] "b" "e" "f"
# 
# $`3`
# [1] "c"

编辑1：忽略浮点值的差异，可以使用

are.cols.identical <- function(col1,col2) isTRUE(all.equal((df[,col1],df[,col2]))

编辑2：比聚类更有效的方法是对相同列的名称进行分组

cut <- apply(identical.mat, 1, function(x)match(TRUE, x))
split(colnames(df), cut)

Answer 2

这个问题与here非常相似，虽然存在细微差别，但仍有相同的警告。

我会再次建议使用digest()，如下所示（感谢@flodel的data.frame以及上面的一个非常好的建议）

df <- data.frame( a = LETTERS[1:3],
  b = 1:3,
  c = as.character(1:3),
  d = LETTERS[1:3],
  e = 1:3,
  f = 1:3)

dfDig <- sapply(df, digest)

ansL <- lapply(seq_along(dfDig), function(x) names(which(dfDig == dfDig[x])))

unique(ansL)

# [[1]]
# [1] "a" "d"

# [[2]]
# [1] "b" "e" "f"

# [[3]]
# [1] "c"

但仍然无法区分1.0和1。

修改

根据@flodel的评论中的建议，在创建dfDig之后可以使用以下选项

split(colnames(df), vapply(dfDig, match, 1L, dfDig))

Answer 3

如何转置数据框并使用duplicated()？

B <- as.data.frame(t(A))
dup1 <- duplicated(B)
# if you want to identify all duplicated rows
dup2 <- duplicated(B, fromLast = TRUE)
dup_final <- dup1 * dup2
saved_colnames <- colnames(A)[dup_final]

在一个data.frame中查找具有相同数据的列

3 个答案: