用少量RAM操纵大数据

时间:2016-10-17 18:37:00

标签: r ram data-manipulation large-data bigdata

我目前正在处理拥有7000万行和5列的数据,并且我有很少的RAM可供使用,所以我使用ff包来执行我的操作。这是我数据的前20行:

      date     ZCTA   Precip_flag x_1234  splitBy
1   01/01/2010 1001           1    100 01/01/2010_100
2   01/01/2010 1002           1    100 01/01/2010_100
3   01/01/2010 1003           1    100 01/01/2010_100
4   01/01/2010 1005           1    100 01/01/2010_100
5   01/01/2010 1007           1    100 01/01/2010_100
6   01/01/2010 1008           1    100 01/01/2010_100
7   01/01/2010 1009           1    100 01/01/2010_100
8   01/01/2010 1010           1    101 01/01/2010_101
9   01/01/2010 1011           1    101 01/01/2010_101
10  01/01/2010 1012           1    101 01/01/2010_101
11  01/01/2010 1013           1    101 01/01/2010_101
12  01/01/2010 1020           1    102 01/01/2010_102
13  01/01/2010 1022           1    102 01/01/2010_102
14  01/01/2010 1026           1    102 01/01/2010_102
15  01/01/2010 1027           1    102 01/01/2010_102
16  01/01/2010 1028           1    102 01/01/2010_102
17  01/01/2010 1029           1    102 01/01/2010_102
18  01/01/2010 1030           1    103 01/01/2010_103
19  01/01/2010 1031           1    103 01/01/2010_103
20  01/01/2010 1032           1    103 01/01/2010_103

我想将Precip_flag列与datex_1234相加,但我遇到数据有多大并且继续收到错误的问题:{{1} }

如果我对上面的一小组数据(20行)执行以下操作,我的结果就完美了:

Error: cannot allocate vector of size 272.9 Mb

如何执行此任务,但是在7000万行上没有耗尽RAM?

0 个答案:

没有答案