我正在运行的实验中有一个相当大的数据集。我的实验在csv中发出数据。但是,csv中的一个字段另外用空格分隔。我怎样才能在R?
中有效地表示这一点现在我将csv解析为数据帧,然后将变量字段转换为较小数据帧的列表。从逻辑上讲,这代表了数据,但它使用了大量的内存。 R仅使用~150MB来解析csv文件,但变量字段的转换使用8GB,此时我的机器内存不足。
答案 0 :(得分:1)
我会查看data.table
包裹。使用其fread()
加载您的数据。它继承了data.frame
的许多属性,但更好地处理大数据。该套餐位于CRAN。如果你在R
处得体,那么这些软件包不会太难学习,并且比base
R
更好地处理大数据。
如果没有reproducible example,我无法提供任何其他编码提示。