Question

我有一个非常大的数据集，其中包含许多列，这些列是从应用程序导出的。问题是文件是“空字符”分隔的。使用readLines读入文件会产生一个字符串列表，每个字符串具有相同数量的字符。

确定列位置的一种可能方法是检查每个字符串（假设在位置5）是否具有空字符。因此，可以从向量1开始继续搜索，直到找到一个非空字符为止。

d <- data.frame("V1" = c(" f ggh", "aa hh", "a  qq" ), stringsAsFactors = 
F)


first.char <- function(col){
current <- 0
j <- 1
while(j <= length(d)){
tmp <- substr(d[j], col, col)
if(!grepl("^\\s*$", tmp)){
  current <- 1
  break}
j <- j+1
}
return(current)
}

row_dummies <- lapply( c(1:6), first.char) %>% unlist

此方法有效，但在扩展时速度很慢（具有一百万个字符串的列表，每个字符串长1500个字符）。我还尝试将每个向量转换为data.table，然后使用str split（Split text string in a data.table columns），但这似乎效率更低，因为在大多数情况下，不必检查所有行。

有什么建议或建议吗？

更新：上面的例子太琐碎了。这个更好一点：

text <- c("df ggh a a h h a  qq",
          "       aa  hh  ab qt",
          " fggh   aa hh  a    ")

所需的输出是

 list( c("df ggh", "a a", "h h", "a",   "qq"),
       c(NA,       "aa",  "hh",  "ab",  "qq"),
       c(" fggh",  "aa",  "hh",  "a",   NA)

 )

str_locate_all运作良好，因为它指示在哪里分割字符串：

cuts_in <- sapply(text, function(x) x %>%  str_locate_all(. , "\\s") ) 
cuts_in <- lapply(cuts_in,  data.table) # to data.table    
cuts_in <- rbindlist(cuts_in)
cuts_in <- cuts_in[, .N, by=start] 
cuts_in[ N==3 ,"start"]

   start
   1:     7
   2:    11
   3:    15
   4:    18

但是，可能不是最有效的方法（拥有15个文件，每个文件一百万行，每行有1500个字符）。例如，假设第1行位置1不是空格，则无需检查第2行和第3行位置1处的字符。 read_table2似乎也不是解决方案：

read_table2(text, col_names = FALSE)

  X1    X2    X3    X4    X5    X6    X7    X8   
 <chr> <chr> <chr> <chr> <chr> <chr> <chr> <chr>
1 df    ggh   a     a     h     h     a     qq   
2 aa    hh    ab    qt    NA    NA    NA    NA   
3 fggh  aa    hh    a     NA    NA    NA    NA

Answer 1

您实际遇到的情况是，您需要读取一个固定宽度的文件，并且不知道列在哪里，这是我以前不了解的。您可以尝试使用readr::read_fwf。 fwf_empty将查看某些行，默认情况下为100，并尝试找出相交列的位置。根据您希望以1500个字符包含多少列，您可能需要增加n以获得正确的输出。

library(tidyverse)
text <- c("df ggh a a h h a  qq",
          "       aa  hh  ab qt",
          " fggh   aa hh  a    ")
read_fwf(text, fwf_empty(text, n = 100))
#> # A tibble: 3 x 5
#>   X1     X2    X3    X4    X5   
#>   <chr>  <chr> <chr> <chr> <chr>
#> 1 df ggh a a   h h   a     qq   
#> 2 <NA>   aa    hh    ab    qt   
#> 3 fggh   aa    hh    a     <NA>

或者，如果您已经在使用str_locate_all，并且希望查看所有行，则可以通过添加起点和终点，并采用{差异。请注意，您无需将fwf_widths与sapply一起使用，因为它已经矢量化了。这可能会比较慢，因为它会检查每一行，如果您没有获得正确的输出，我会先尝试增加str_locate_all。

^{由reprex package（v0.2.1）于2019-04-18创建}

Answer 2

str_locate_all中的stringr怎么样：

library(stringr)

d <- data.frame("V1" = c(" f ggh", "aa hh", "a  qq" ), stringsAsFactors = 
F)

str_locate_all(d$V1, "\\s")


[[1]]
     start end
[1,]     1   1
[2,]     3   3

[[2]]
     start end
[1,]     3   3

[[3]]
     start end
[1,]     2   2
[2,]     3   3

但是，如果您尝试将其拆分为不同的列，则可以使用dplyr和tidyr的组合一次完成所有操作。

library(tidyverse)

d %>%
 mutate(V1 = str_trim(V1, side = "both")) %>%
 separate(V1, c("string_1", "string_2"), sep = "\\s+")

  string_1 string_2
1        f      ggh
2       aa       hh
3        a       qq

在特定位置检测字符串列表中的公共字符

2 个答案: