Question

我有一个data.table，包含11个变量和200,000多行。我想在此unique identifier中找到key（换句话说，data.table）。

我在Stata中寻找类似isid的东西，它检查指定的变量是否唯一地标识了观察结果。有人可以帮忙吗？

Answer 1

我认为您对data.table和key s的几点感到困惑。

除非您明确设置，否则data.table将没有密钥。
data.table键不必须是唯一的。

您可以编写一个函数来检查某些列是否可以为数据集创建唯一标识符。

我在这里使用了data.table，并且已经注意在data.table的无键副本上使用unique。

这效率不高。

 isid <- function(columns, data, verbose  = TRUE){
      if(!is.data.table(data)){
        copyd <- data.table(data)
      } else{ 
      copyd <- copy(data)
      }
     if(haskey(copyd)){
       setkey(copyd, NULL)
     }
    # NA values don't work in keys for data.tables
    any.NA <- Filter(columns, f= function(x) any(is.na(copyd[[x]])))
    if(verbose){
      for(aa in seq_along(any.NA)){message(sprintf('Column %s contains NA values', any.NA[aa] ))}
    }
    validCols <- setdiff(columns, any.NA)
    # cycle through columns 1 at a time
    ncol <- 1L
    validKey <- FALSE
    while(!isTRUE(validKey) && ncol <= length(validCols)){
      anyValid <- combn(x = validCols, m = ncol, FUN = function(xn){
        subd <- copyd[, xn, with = FALSE]
        result <- nrow(subd) == nrow(unique(subd))
        list(cols = xn, valid = result)
      }, simplify = FALSE)

      whichValid <- sapply(anyValid, `[[`, 'valid')
      validKey <- any(whichValid)
      ncol <- ncol + 1L
    }

 if(!validKey){
 warning('No combinations are unique')
 return(NULL)} else {
   valid.combinations <- lapply(anyValid, `[[`, 'cols')[whichValid]
   if(length(valid.combinations) > 1){
    warning('More than one combination valid, returning the first only')
    }
    return(valid.combinations[[1]])
   }
 }

使用中的一些例子

 oneU <- data.table(a = c(2,1,2,2), b = c(1,2,3,4))
 twoU  <- data.table(a = 1:4, b = letters[1:4])
 bothU <- data.table(a = letters[1:2], b = rep(letters[1:2], each = 2))
 someNA <- data.table(a = c(1,2,3,NA), b = 1:4)

isid(names(oneU), oneU)
# [1] "b"
isid(names(twoU), twoU)
# [1] "a"
# Warning message:
# In isid(names(twoU), twoU) :
#   More than one combination valid, returning the first only
isid(names(bothU), bothU)
# [1] "a" "b"
isid(names(someNA), someNA)
# Column a contains NA values
# [1] "b"

# examples with no valid identifiers

isid('a', someNA)
## Column a contains NA values
## NULL
## Warning message:
## In isid("a", someNA) : No combinations are unique
isid('a', oneU)
## NULL
## Warning message:
##  In isid("a", oneU) : No combinations are unique

Answer 2

这并不能完全回答OP问题[我还没有使用data.table]，但它只会帮助R用户回答OP的问题。我的重点是解释isid实际上如何处理Stata。我使用来自R数据库的数据（您需要为此数据安装optmatch）。

library(optmatch)
data(nuclearplants)
sample<-nuclearplants

我只关注数据框的子集，因为我的目标只是解释isid正在做什么：

sample<-sample[,c(1,2,5,10)]
head(sample,5)
 cost  date  cap cum.n
H 460.05 68.58  687    14
I 452.99 67.33 1065     1
A 443.22 67.33 1065     1
J 652.32 68.00 1065    12
B 642.23 68.00 1065    12

现在，当我使用Stata命令isid cost时，它不会显示任何内容，这意味着没有重复的成本观察（R命令是unique(sample$cost)或sample[duplicated(sample),]

[1] cost  date  cap   cum.n
<0 rows> (or 0-length row.names).)

但是，当我们使用isid date即日期变量时，Stata会报告它不是唯一的。或者，如果您运行duplicates date examples，Stata会给您重复的观察结果，如下所示：

. duplicates example date

Duplicates in terms of date

  +-------------------------------+
  | group:   #   e.g. obs    date |
  |-------------------------------|
  |      1   2         27   67.25 |
  |      2   2          2   67.33 |
  |      3   3         29   67.83 |
  |      4   2          4      68 |
  |      5   5          8   68.42 |
  |-------------------------------|
  |      6   2          1   68.58 |
  |      7   2         12   68.75 |
  |      8   3         14   68.92 |
  +-------------------------------+

为了解释输出，可以说观察67.25有两次重复的观察（如#所示）。第一个观察对应于第27行（它没有用67.25标识第二个副本的行号）。 Group为每次重复提供唯一标识符。

R command for the same is duplicated(sample$date). 
duplicated(sample$date)
 [1] FALSE FALSE  TRUE FALSE  TRUE FALSE FALSE FALSE  TRUE FALSE  TRUE FALSE  TRUE FALSE  TRUE  TRUE FALSE  TRUE FALSE  TRUE  TRUE
[22] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  TRUE  TRUE  TRUE

To identify the unique observation we can also use unique(sample$date) in R.

我们可以对两个变量isid cost date做同样的事情。同样，Stata不会识别两个变量的重复观察结果。在unique(sample[,c(1,2)]中使用R时也是如此。

如果我对所有四个变量运行isid，那么Stata表示它是唯一的（没有警告）。

duplicates example  cost date cap cum_n

Duplicates in terms of cost date cap cum_n

(0 observations are duplicates)

与unique(sample)中的R相同。

结论：因此，我认为只要一个变量是唯一的（即它没有重复的观察结果），包含唯一变量的变量组合应该始终是唯一的。如果我错了，请纠正我。

data.table中的唯一标识符

2 个答案:

使用中的一些例子