我的数据集是一个大于8GB的csv文件。我有几行代码过滤它以使其更小。由于文件太大,无法运行r代码。错误消息弹出没有足够的内存。我的R工作室是Windows上的64位版本。任何专家都知道该怎么做?
答案 0 :(得分:1)
如果您不想购买更多内存,则应调整算法以处理文件较小的块(例如,第一行1-10000,然后行10001-20000等)。还使用data.table
包可能有助于减少内存使用量。
答案 1 :(得分:1)
除了oseiskar所说的,您可以尝试sqldf
包来预处理小型SQL数据库中的数据,并仅查询您的计算机可以处理的内容。还有high performance task view处理大型数据集和内存处理。
答案 2 :(得分:0)
套餐bigmemory
可能是满足您需求的答案
链接:https://cran.r-project.org/web/packages/bigmemory/vignettes/Overview.pdf