我可以在R中并行读取1个大的CSV文件吗?

时间:2015-04-29 15:45:13

标签: r multithreading csv parallel-processing

我有一个很大的csv文件,需要很长时间才能阅读。我可以使用“并行”或相关的包在R中并行阅读吗?我尝试过使用mclapply,但它没有用。

1 个答案:

答案 0 :(得分:6)

根据OP的评论,fread包中的data.table有效。这是代码:

library(data.table)
dt <- fread("myFile.csv")

在OP的情况下,及时查看带有read.csv的1.2GB文件,花费约4-5分钟,fread仅需14秒。