如何有效地阅读和rbind大型CSV文件？

Question

我有20个大型CSV（每个100-150MB）文件我想在R中加载并将它们装入一个大文件中并执行我的分析。读取每个CSV文件仅在一个核心上执行，大约需要7分钟。我使用64位8核linux，内存为16GB，因此资源不应成为问题。

有没有办法更有效地执行此过程？我也对其他（开源Linux）软件开放（例如将CSV文件绑定在不同的程序中并加载到R中）或任何可以使这个过程更快的东西。

非常感谢

Answer 1

也许你想要一个像paste这样的功能。它是一个合并文件行的bash函数。