Question

有很多关于如何读取多个CSV并将它们绑定到一个数据框的文档。我有5000多个CSV文件需要读入并绑定到一个数据结构中。

我特别关注此处的讨论：Issue in Loading multiple .csv files into single dataframe in R using rbind

奇怪的是，基地R比我尝试的任何其他解决方案都要快得多。

这是我的CSV的样子：

> head(PT)
  Line          Timestamp       Lane.01 Lane.02 Lane.03 Lane.04 Lane.05 Lane.06 Lane.07 Lane.08
1    PL1    05-Jan-16 07:17:36      NA      NA      NA      NA      NA      NA      NA      NA
2    PL1    05-Jan-16 07:22:38      NA      NA      NA      NA      NA      NA      NA      NA
3    PL1    05-Jan-16 07:27:41      NA      NA      NA      NA      NA      NA      NA      NA
4    PL1    05-Jan-16 07:32:43    9.98   10.36   10.41   10.16   10.10    9.97   10.07    9.59
5    PL1    05-Jan-16 07:37:45    9.65    8.87    9.88    9.86    8.85    8.75    9.19    8.51
6    PL1    05-Jan-16 07:42:47    9.14    8.98    9.29    9.04    9.01    9.06    9.12    9.08

我已经创建了三种读入和绑定数据的方法。这些文件位于一个单独的目录中，我定义为：

dataPath <- "data"
PTfiles <- list.files(path=dataPath, full.names = TRUE)

方法1：基础R

classes <- c("factor", "character", rep("numeric",8))

# build function to load data
load_data <- function(dataPath, classes) { 
   tables <- lapply(PTfiles, read.csv, colClasses=classes, na.strings=c("NA", ""))
   do.call(rbind, tables)
}

#clock
method1 <- system.time(
   PT <- load_data(path, classes)
)

方法2： read_csv 在这种情况下，我为read_csv创建了一个包装函数，以便使用

#create wrapper function for read_csv
read_csv.wrap <- function(x) { read_csv(x, skip = 1, na=c("NA", ""),
                      col_names = c("tool", "timestamp", paste("lane", 1:8, sep="")),
                      col_types = 
                         cols(
                            tool = col_character(),
                            timestamp = col_character(),
                            lane1 = col_double(),
                            lane2 = col_double(),
                            lane3 = col_double(),
                            lane4 = col_double(),
                            lane5 = col_double(),
                            lane6 = col_double(),
                            lane7 = col_double(),
                            lane8 = col_double()
                           )
                     )
}

##
# Same as method 1, just uses read_csv instead of read.csv

load_data2 <- function(dataPath) { 
   tables <- lapply(PTfiles, read_csv.wrap)
   do.call(rbind, tables)
}

#clock
method2 <- system.time(
   PT2 <- load_data2(path)
)

方法3： read_csv + dplyr::bind_rows

load_data3 <- function(dataPath) { 
   tables <- lapply(PTfiles, read_csv.wrap)
   dplyr::bind_rows(tables)
}

#clock
method3 <- system.time(
   PT3 <- load_data3(path)
)

我无法弄清楚，为什么read_csv和dplyr方法更慢的原因是它们应该更快的时间。 CPU时间减少了，但为什么经过的时间（文件系统）会增加？这里发生了什么？

修改 - 我根据评论中的建议添加了data.table方法

方法4 data.table

library(data.table)

load_data4 <- function(dataPath){
   tables <- lapply(PTfiles, fread)
   rbindlist(tables)
}

method4 <- system.time(
   PT4 <- load_data4(path)
)

从CPU的角度来看，data.table方法是最快的。但问题仍然存在于read_csv方法正在发生的事情上，这使得它们变得如此缓慢。

> rbind(method1, method2, method3, method4)
        user.self sys.self elapsed
method1      0.56     0.39    1.35
method2      0.42     1.98   13.96
method3      0.36     2.25   14.69
method4      0.34     0.67    1.74

Answer 1

我会在终端机（Unix）中做到这一点。我将所有文件放入同一文件夹，然后导航至该文件夹（在终端中），使用以下命令仅创建一个CSV文件：

cat *.csv > merged_csv_file.csv

关于此方法的一个观察结果是每个文件的标题将显示在观察结果的中间。为了解决这个问题，我建议您这样做：

仅从第一个文件获取标头

head -2 file1.csv > merged_csv_file.csv

然后使用以下命令从其他文件中跳过前“ X”行，其中“ X”是要跳过的行数。

tail -n +3 -q file*.csv >> merged_csv_file.csv

-n +3使尾部打印行从第3行到末尾，-q告诉它不要打印具有文件名的标题（读人），>>添加到文件中，而不是将其覆盖为>。

读取多个CSV文件的基数R比读取器快

1 个答案: