Question

我在使用data.table包时遇到了一些麻烦。我正在使用这个包，因为它看起来非常快速和高效的内存，它将处理一个非常大的数据集（约6米x 300）。

所以，基本上我遇到的问题的一个例子是：

AA <- matrix(runif(50,0,100), 10,5)
AA <- data.table(AA)
colnames(AA) <- c("one","two","three","four","five")
AA[,"key"] <- c(1:10)
setkey(AA,key)

BB <- matrix(c("A1","A1","B1","A1","C1","F1","T1","Y1","S1","S1","B2","C2","V2","G2","R2","U2","P2","Q2","A2","R2"),10,2)
BB <- data.table(BB)
BB[,"key"] <- c(1:10)
setkey(BB,key)

CC <- AA[BB]

这给出了以下

> CC
  key       one       two     three     four     five V1 V2
 [1,]   1 70.528360  7.901987 66.827238 44.51487 26.22273 A1 B2
 [2,]   2 38.560889 31.808611  7.877950 34.51093 51.27989 A1 C2
 [3,]   3 70.164154 16.636281 59.127573 79.95673 19.07643 B1 V2
 [4,]   4 82.019267 86.958215  3.335632 44.19048 46.29047 A1 G2
 [5,]   5 24.980403 25.352212 78.240760 93.69818 46.64401 C1 R2
 [6,]   6  1.062644 30.214449 15.920193 35.15496 97.86995 F1 U2
 [7,]   7  5.242374 47.591899 56.879902 70.05319 82.48689 T1 P2
 [8,]   8 69.646271 69.576102 38.766948 38.62866 74.69404 Y1 Q2
 [9,]   9 25.335255 54.638416  5.777238 80.87692 34.11951 S1 A2
[10,]  10 54.844424 18.645826 59.370042 48.24352 84.02630 S1 R2

我要做的是按V1和V2汇总数据

> CC[,length(one), by=V1]
     V1 V1.1
[1,] A1    3
[2,] B1    1
[3,] C1    1
[4,] F1    1
[5,] T1    1
[6,] Y1    1
[7,] S1    2

> CC[,length(one), by=V2]
  V2 V1
[1,] B2  1
[2,] C2  1
[3,] V2  1
[4,] G2  1
[5,] R2  2
[6,] U2  1
[7,] P2  1
[8,] Q2  1
[9,] A2  1

我遇到的问题是，如果我不明确知道我要聚合的列的名称，或者如果我想循环说100列获得100个不同的聚合，我该怎么做？

data.table参考手册说它的工作方式是因为变量在数据表的范围内被引用，所以CC [，V1]将给出一列，而CC [，“V1”]赢了“T。它说你可以使用像

这样的东西

x <- quote(V1)
CC[,length(one), by=eval(x)]

但这似乎不起作用，我尝试了一些事情，比如在向量中设置变量名称以及quote（），noquote（），enquote（）的各种组合但我似乎无法弄清楚是否可能。

如何设置它以循环遍历每个聚合的列名列表？

如果没有，是否有更好的方法可以快速聚合这样的大型数据集？

感谢。

Answer 1

我不确定你到底想要什么 - 我想你可能需要想出一个更好的例子来说明你想做什么。

例如，您可以在by中传递一个字符向量，这样就可以了：

agg.by <- "V1"
CC[, length(one), by=agg.by]

如果您要对子集中的“未知”列进行汇总，则可以lapply覆盖每个聚合内部范围内的.SD data.table，例如：

CC[, lapply(.SD, mean), by=agg.by]

如果您只是总结原始data.table中的几列，请使用.SDcols参数，例如：

CC[, lapply(.SD, mean), by=agg.by, .SDcols=c('one', 'two')]

我认为上述的一些组合将解决你所问的问题，但我很难理解你所追求的是什么。

如果您能提供更好的示例数据和预期结果，我将很乐意为您提供更多帮助。

使用data.tables，尝试按列索引聚合数据

1 个答案: