Question

我正在尝试使用data.table来加速处理由几个较小的合并data.frames组成的大型data.frame（300k x 60）。我是data.table的新手。到目前为止的代码如下

library(data.table)
a = data.table(index=1:5,a=rnorm(5,10),b=rnorm(5,10),z=rnorm(5,10))
b = data.table(index=6:10,a=rnorm(5,10),b=rnorm(5,10),c=rnorm(5,10),d=rnorm(5,10))
dt = merge(a,b,by=intersect(names(a),names(b)),all=T)
dt$category = sample(letters[1:3],10,replace=T)

我想知道是否有比以下更有效的方法来总结数据。

summ = dt[i=T,j=list(a=sum(a,na.rm=T),b=sum(b,na.rm=T),c=sum(c,na.rm=T),
                     d=sum(d,na.rm=T),z=sum(z,na.rm=T)),by=category]

我真的不想手工输入所有50列计算，eval(paste(...))似乎很笨拙。

我看了下面的例子，但对我的需求似乎有点复杂。感谢

how to summarize a data.table across multiple columns

Answer 1

您可以使用lapply

的简单.SD语句

dt[, lapply(.SD, sum, na.rm=TRUE), by=category ]

   category index        a        b        z         c        d
1:        c    19 51.13289 48.49994 42.50884  9.535588 11.53253
2:        b     9 17.34860 20.35022 10.32514 11.764105 10.53127
3:        a    27 25.91616 31.12624  0.00000 29.197343 31.71285

如果您只想汇总某些列，可以添加.SDcols参数

#  note that .SDcols also allows reordering of the columns
dt[, lapply(.SD, sum, na.rm=TRUE), by=category, .SDcols=c("a", "c", "z") ] 

   category        a         c        z
1:        c 51.13289  9.535588 42.50884
2:        b 17.34860 11.764105 10.32514
3:        a 25.91616 29.197343  0.00000

当然，这不仅限于sum，您可以使用lapply的任何函数，包括匿名函数。（即，这是一个常规的lapply声明）。

最后，无需使用i=T和j= <..>。就个人而言，我认为这会使代码的可读性降低，但它只是一种风格偏好。

编辑：文档

您可以找到.SD的文档和其他几个特殊变量 ?"[.data.table"的帮助部分（在参数部分，查看by的信息）。

另请参阅data.table FAQ 2.1

http://datatable.r-forge.r-project.org/datatable-faq.pdf

使用data.table汇总多个列

1 个答案:

编辑：文档