更快地将多个csv读取到一个数据帧？

Question

有没有在R中加快以下过程？

theFiles <- list.files(path="./lca_rs75_summary_logs", full.names=TRUE, pattern="*.summarylog")

listOfDataFrames <- NULL
masterDataFrame <- NULL

for (i in 1:length(theFiles)) {
    tempDataFrame <- read.csv(theFiles[i], sep="\t", header=TRUE)
    #Dropping some unnecessary row
    toBeRemoved <- which(tempDataFrame$Name == "")
    tempDataFrame <- tempDataFrame[-toBeRemoved,]
    #Now stack the data frame on the master data frame
    masterDataFrame <- rbind(masterDataFrame, tempDataFrame)
}

基本上，我正在读取目录中的多个csv文件。我想通过堆叠行将所有csv文件合并到一个巨大的数据框中。随着masterDataFrame的大小增加，循环似乎更长。我在linux集群上这样做。

Answer 1

使用data.table::fread更新了答案。

require(data.table)
out = rbindlist(lapply(theFiles, function(file) {
         dt = fread(file)
         # further processing/filtering
      }))

fread()自动检测标题，文件分隔符，列类，默认情况下不会将字符串转换为因子..处理嵌入式引号，速度非常快等。有关详细信息，请参阅?fread。

---

查看旧答案的历史记录。