Question

我需要导入具有各种列号的数据文件。最后，该代码应由对R不太熟悉的其他同事使用。因此，该代码应健壮且最好没有警告消息。主要问题是页眉总是以附加的“”结尾，该“未”出现在下面的数据中。除了一大堆未使用的列，所需的列始终以相同的方式标记。即列名中始终有一个特定的字符串，但不一定整个列名都相同。

该示例代码非常近似于我的文件。首先，由于标题末尾的错误逗号，我想摆脱错误消息。类似于skip_col = ncol(headder)。其次，我只想读取列名中带有"*des*"的列。

在这个简化的示例中，我的处理方法看起来很简单，但是在我更复杂的代码中却不太令人满意。

library(tidyverse)

read_csv("date,col1des,col1foo,col2des,col3des,col2foo,col3foo, 
          2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0 
          2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
          2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
          2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3")

if (length(grep("des", names(data))) > 0) {
  des <- data[grep("des", names(data))]
  des <- bind_cols(date = data$date, des)
}

因此在我的完整代码中，我收到以下警告消息：

1. Missing column names filled in: 'X184' [184] 
2. Duplicated column names deduplicated: [long list of unrequired columns with dublicated names]

我希望在tidyverse中找到解决方案。据我发现，不可能在read_csv调用中直接使用正则表达式来指定列名，对吗？因此，也许唯一的方法是先读取标题，然后再构建cols()调用。但这超出了我的R知识。

编辑：

我想知道是否可能发生这种情况：

headline <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo,"
head     <- headline %>% strsplit(",") %>% unlist(use.names = FALSE)
head_des <- head[grep("des", head)]
data     <- read_csv("mydata.csv", col_types = cols_only(head_des[1] = "d", head_des[2] = "d"))

我想grep()列名用于读取整个数据。

Answer 1

编辑编号2

回应您的评论；这适用于您的数据字符串：

library(tidyverse)
yourData <- "date,col1des,col1foo,col2des,col3des,col2foo,col3foo, 
          2015-10-23T22:00:00Z,0.6,-1.5,-1.3,-0.5,1.8,0 
          2015-10-23T22:10:00Z,-0.5,-0.6,1.5,0.1,-0.3,0.3
          2015-10-23T22:20:00Z,0.1,0.2,-1.6,-0.1,-1.4,-0.4
          2015-10-23T22:30:00Z,1.7,-1.2,-0.2,-0.4,0.3,0.3"

data <- suppressWarnings(read_csv(yourData))

header <- names(data)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(yourData,col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>   <chr>   <chr>   <chr>  
#> 1 0.6     -1.3    -0.5   
#> 2 -0.5    1.5     0.1    
#> 3 0.1     -1.6    -0.1   
#> 4 1.7     -0.2    -0.4

编辑

在this Post的帮助下尝试适应您的编辑愿望：


library(tidyverse)


header <- suppressWarnings(readLines('file.csv')[1]) %>% 
  str_split(',',simplify = T)
colList <- ifelse(str_detect(header,'des'),'c','_') %>% as.list
suppressWarnings(read_csv(file = 'file.csv',col_types = do.call(cols_only, colList)))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>   <chr>   <chr>   <chr>  
#> 1 0.6     -1.3    -0.5   
#> 2 -0.5    1.5     0.1    
#> 3 0.1     -1.6    -0.1   
#> 4 1.7     -0.2    -0.4

这是最可靠，最tidyverse的方式，我可以提出：

library(tidyverse)

file <- suppressWarnings(readLines('file.csv')) %>% 
  str_split(',') 
dims <- file %>% map_int(~length(.))
if(any(dims != median(dims))){
  file[[which(dims != median(dims))]] <- file[[which(dims != median(dims))]][1:median(dims)]
}
data <- file %>% map_chr(~paste(.,collapse = ',')) %>% 
  paste(., sep = '\n') %>% read_csv
(data <- data %>% select(which(str_detect(names(data), pattern = 'des'))))
#> # A tibble: 4 x 3
#>   col1des col2des col3des
#>     <dbl>   <dbl>   <dbl>
#> 1     0.6    -1.3    -0.5
#> 2    -0.5     1.5     0.1
#> 3     0.1    -1.6    -0.1
#> 4     1.7    -0.2    -0.4

file.csv包含您的数据的地方。

使用正则表达式使用readr读取列

1 个答案:

编辑编号2

编辑