Question

我有一个大型数据集，5000个变量和300万行。我想查看哪些列包含日期。我正在使用 data.table 并使用fread读取数据。为了知道哪些列包含日期，我运行它：

my[, lapply(.SD,function(xx) 
  length(grep("^\\d\\d?/\\d\\d?/\\d{4}$",xx))>0 ) ]

或与any(grepl())

相同

但它很慢。

有没有办法更快地完成？也许强迫grep在遇到约会时第一次停止？我认为（命令行）grep有一个选项：

grep -m 1

但我认为它在R中不可用。

有什么想法吗？基础R或其他包装的解决方案也是受欢迎的。

我也可以只使用data.table的几行，但有些列的值可能与NA不同，并且有可能错过它们。

一些NA的非常简单的例子：

library(data.table)
set.seed(1)
siz <- 10000000
my <- data.table(
  AA=c(rep(NA,siz-1),"11/11/2001"),
  BB=sample(c("wrong", "11/11/2001"),siz, prob=c(1000000,1), replace=T),
  CC=sample(siz),
  DD=rep("11/11/2001",siz),
  EE=rep("HELLO", siz)
 )

我已经看到有一个选项 perl = FALSE 但我不知道它会允许我添加额外的参数。

或类似地，我想知道应该是日期的文件中是否有奇怪的符号。我可以在每一列都运行grep但是如果我的测试正确就能够立即停止，而不会一直持续到列结束。

可能还有一些额外的软件包，例如 stringi ？

Answer 1

一个选项是仅检查第一行（假设如果有'Date'类，它会选择它，除非第一行是缺失值）

my[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]

除了上述内容之外，正如@Frank所提到的，我们只能通过指定character

来检查.SDcols类列的子集而不是整列

j1 <- sapply(my, is.character)
my[, lapply(.SD, function(x) 
            length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), 
              .SDcols = j1]

基准

set.seed(24)
dat <- data.table(col1 = rnorm(1e6), col2 = "05/05/1942", 
      col3 = rnorm(1e6))

system.time(res <- dat[, lapply(.SD, function(x) 
                length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1)])
# user  system elapsed 
#  6.33    0.01    6.35 

system.time(res2 <- dat[1][, grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))])
#   user  system elapsed 
#     0       0       0 


system.time({
  j1 <- sapply(dat, is.character)
  res3 <- dat[, lapply(.SD, function(x) 
     length(grep("\\d{2}/\\d{2}/\\d{4}", x))>1), .SDcols = j1]
  res3 <- names(dat) %in% names(res3)
     })
 #  user  system elapsed 
 #  0.43    0.00    0.44 



all.equal(unlist(res), res2, check.attributes = FALSE)
#[1] TRUE
all.equal(unlist(res), res3, check.attributes=FALSE) 
#[1] TRUE

如果有很多NA，那么我们可以检查它有所有非NA元素的第一行

set.seed(24)
dat <- data.table(col1 = sample(c(NA, 1:10), 1e6, replace=TRUE),
     col2 = c(NA, "05/05/1942"),
     col3 = sample(c(NA, 1:5), 1e6, replace=TRUE))
dt1 <- head(dat, 20)
#Or just a sample of 20 rows from the dataset
#dt1 <- dat[sample(1:.N, 20, replace=TRUE)]
dt1[dt1[, which(!Reduce(`|`, lapply(.SD, is.na)))[1]]
     ][,  grepl("\\d{2}/\\d{2}/\\d{4}", unlist(.SD))]

使用grep快速检测包含任何值的列

1 个答案:

基准