R代码分析大于8GB的csv文件

时间:2015-11-28 06:22:55

标签: r

我的数据集是一个大于8GB的csv文件。我有几行代码过滤它以使其更小。由于文件太大,无法运行r代码。错误消息弹出没有足够的内存。我的R工作室是Windows上的64位版本。任何专家都知道该怎么做?

3 个答案:

答案 0 :(得分:1)

如果您不想购买更多内存,则应调整算法以处理文件较小的块(例如,第一行1-10000,然后行10001-20000等)。还使用data.table包可能有助于减少内存使用量。

答案 1 :(得分:1)

除了oseiskar所说的,您可以尝试sqldf包来预处理小型SQL数据库中的数据,并仅查询您的计算机可以处理的内容。还有high performance task view处理大型数据集和内存处理。

答案 2 :(得分:0)

套餐bigmemory可能是满足您需求的答案

链接:https://cran.r-project.org/web/packages/bigmemory/vignettes/Overview.pdf