如何处理解析R中的数百个文件？

Question

我想解析去年的CSV文件中记录的天气数据。每个CSV文件包含一天的数据。所以我需要解析365个CSV文件。处理这些文件的最佳方法是什么？据我所知，我需要将所有这些加载到R中并将它们绑定到一个大数据框中。但我不知道这是否是最佳解决方案。如果我有一年以上的数据文件怎么办？我需要将所有内容加载到内存中吗？或者还有其他方法来处理它们吗？

每个文件大约1M到1.5M。

Answer 1

最简单的方法是使用list.files将所有文件读取，将它们读入数据框列表，然后将所有帧同步：

#setwd('dirwithallmycsvs')

x <- list.files(pattern = '.+\\.csv$')

out = lapply(x, read.csv)

out2 = do.call(rbind, out)

您的输出现在应该是一个数据帧。您需要注意文件中的所有列都是相同的。