通过更改所选列来计算rowSums

时间:2018-07-18 12:51:49

标签: r data.table

早上好, 我被封锁了。

我有以下对象:

d1:
    a  b  d e
1:  0 32  0 1
2:  0 40  0 3
3: 23  0  0 2
4: 32  0 32 4
5:  0  0 56 0

w:
[[1]]
[1] "a" "b"

[[2]]
[1] "b" "d"

[[3]]
[1] "a" "b" "e"

我只需要使用单词中包含的列(对于每个“迭代”)就需要行的总和

    a  b  d e f1 f2 f3
1:  0 32  0 1 32 32 33
2:  0 40  0 3 40 40 43
3: 23  0  0 2 23  0 25
4: 32  0 32 4 32 32 36
5:  0  0 56 0  0 56  0

d1[,f1:=rowSums(.SD),.SDcols=w[[1]]]

d1[,f2:=rowSums(.SD),.SDcols=w[[2]]]

d1[,f3:=rowSums(.SD),.SDcols=w[[3]]]

我不能使用循环或lapply,循环非常慢,并且lapply的存储效率不高。实际数据是一个1112行和108968列(最好)的矩阵,以及超过400万个字符向量的列表。

谢谢!

数据

d1 <- read.table(h=T,strin=F,text=
"a  b  d e
 0 32  0 1
 0 40  0 3
23  0  0 2
32  0 32 4
 0  0 56 0")
data.table::setDT(d1)

w <- list(c("a","b"),c("b","d"),c("a","b","e"))

1 个答案:

答案 0 :(得分:4)

您的声明

  

我不能使用循环或lapply,循环非常慢,lapply的内存效率不高。

表示您必须手动输入。考虑有效地使用循环,例如:

for(i in seq_along(w)) {
  set(d1, i = NULL, j = paste0("f", i), value = rowSums(d1[, w[[i]], with=FALSE]))
}

结果是:

d1
#    a  b  d e f1 f2 f3
#1:  0 32  0 1 32 32 33
#2:  0 40  0 3 40 40 43
#3: 23  0  0 2 23  0 25
#4: 32  0 32 4 32 32 36
#5:  0  0 56 0  0 56  0

如@Frank在其评论中所述,在这种情况下,替换

rowSums(d1[, w[[i]], with=FALSE])

Reduce("+", d1[, w[[i]], with=FALSE])

因为输入不是矩阵(并且rowSums将其输入强制为矩阵)。实际上,这将是一种更有效的方法,但代价是无法轻松处理NA条目(例如在rowSums中可能)。