使用3 GB文件

时间:2015-06-12 17:59:35

标签: r

我有一个3.8 GB的文本文件~5万行,我想在某些列上运行anova - WH。

当我阅读文本文件时,它给出了错误:

d<-read.table("test.txt", header= TRUE, sep="|")
head(d)
dim(d)
  

错误:无法分配大小为31.2 Mb的矢量

我如何处理这些数据?

我在Windows上使用8GB物理内存并使用32位R和memory.limit(0 = 3583)

1 个答案:

答案 0 :(得分:2)

根据我上面的评论,您可以使用data.table::fread及其select参数来读取文件中的选定列。它也比read.table快得多并显示进度。如果您需要data.frame而不是data.table,则可以使用data.table = FALSE参数。

无论如何你真的应该使用64位R.