表示R中的一对多关系,具有高效的内存使用率

时间:2015-04-10 14:01:26

标签: r

我正在运行的实验中有一个相当大的数据集。我的实验在csv中发出数据。但是,csv中的一个字段另外用空格分隔。我怎样才能在R?

中有效地表示这一点

现在我将csv解析为数据帧,然后将变量字段转换为较小数据帧的列表。从逻辑上讲,这代表了数据,但它使用了大量的内存。 R仅使用~150MB来解析csv文件,但变量字段的转换使用8GB,此时我的机器内存不足。

1 个答案:

答案 0 :(得分:1)

我会查看data.table包裹。使用其fread()加载您的数据。它继承了data.frame的许多属性,但更好地处理大数据。该套餐位于CRAN。如果你在R处得体,那么这些软件包不会太难学习,并且比base R更好地处理大数据。

如果没有reproducible example,我无法提供任何其他编码提示。