Question

我想通过data.frame中其中一个变量的累积总和来聚合R data.frame。我google了很多，但可能我不知道找到有用的正确术语。

假设我有这个data.frame：


> x <- data.frame(cbind(p=rnorm(100, 10, 0.1), v=round(runif(100, 1, 10))))
> head(x)
           p  v
1  10.002904  4
2  10.132200  2
3  10.026105  6
4  10.001146  2
5   9.990267  2
6  10.115907  6
7  10.199895  9
8   9.949996  8
9  10.165848  8
10  9.953283  6
11 10.072947 10
12 10.020379  2
13 10.084002  3
14  9.949108  8
15 10.065247  6
16  9.801699  3
17 10.014612  8
18  9.954638  5
19  9.958256  9
20 10.031041  7

我想将x缩小为更小的data.frame，其中每行包含p的加权平均值，加权v，对应于n个单位v的数量。这类事情：


> n <- 100
> cum.v <- cumsum(x$v)
> f <- cum.v %/% n
> x.agg <- aggregate(cbind(v*p, v) ~ f, data=x, FUN=sum)
> x.agg$'v * p' <- x.agg$'v * p' / x.agg$v
> x.agg
  f     v * p   v
1 0 10.039369  98
2 1  9.952049  94
3 2 10.015058 104
4 3  9.938271 103
5 4  9.967244 100
6 5  9.995071  69

第一个问题，我想知道上面的代码是否有更好的（更有效的方法）。第二个更重要的问题是如何纠正上面的代码以获得更精确的分组。也就是说，x.agg中的每一行都应包含100个v单位，而不仅仅是上面的情况。例如，第一行包含x的前17行的聚合，其对应于98个v单位。下一行（第18行）包含5个单位v，并完全包含在下一个存储桶中。我想要实现的是将第18行的第2个单元属于第一个桶，将剩余的3个单元属于第一个桶。

提前感谢您提供的任何帮助。

Answer 1

如果您正在寻找精确的分组，我假设p的值对于2“分裂”v是相同的即在您的示例中，第一个桶中第2行的第2个单位的p值为9.954638

根据上述假设，您可以对非超大型数据集执行以下操作。

> set.seed(12345)
> x <- data.frame(cbind(p=rnorm(100, 10, 0.1), v=round(runif(100, 1, 10))))
> z <- unlist(mapply(function(x,y) rep(x,y), x$p, x$v, SIMPLIFY=T))

这会创建一个向量，每个值为p，每行重复v次，并使用unlist将结果合并为单个向量。

使用aggregate函数

进行此聚合后很简单

> aggregate(z, by=list((1:length(z)-0.5)%/%100), FUN=mean)
  Group.1         x
1       0  9.999680
2       1 10.040139
3       2  9.976425
4       3 10.026622
5       4 10.068623
6       5  9.982733

Answer 2

这是另一种方法，可以重复每个p v次。我理解它的方式是，它穿过100的地方（见下文）

18  9.954638  5  98
19  9.958256  9 107

应更改为：

18    9.954638  5  98
19.1  9.958256  2 100 # ---> 2 units will be considered with previous group
19.2  9.958256  7 107 # ----> remaining 7 units will be split for next group

代码：

n <- 100
# get cumulative sum, an id column (for retrace) and current group id
x <- transform(x, cv = cumsum(x$v), id = seq_len(nrow(x)), grp = cumsum(x$v) %/% n)

# Paste these two lines in R to install IRanges
source("http://bioconductor.org/biocLite.R")
biocLite("IRanges")

require(IRanges)
ir1 <- successiveIRanges(x$v)
ir2 <- IRanges(seq(n, max(x$cv), by=n), width=1)
o <- findOverlaps(ir1, ir2)

# gets position where multiple of n(=100) occurs
# (where we'll have to do something about it)
pos <- queryHits(o)
# how much do the values differ from multiple of 100?
val <- start(ir2)[subjectHits(o)] - start(ir1)[queryHits(o)] + 1
# we need "pos" new rows of "pos" indices
x1 <- x[pos, ]
x1$v <- val # corresponding values
# reduce the group by 1, so that multiples of 100 will
# belong to the previous row
x1$grp <- x1$grp - 1
# subtract val in the original data x
x$v[pos] <- x$v[pos] - val
# bind and order them    
x <- rbind(x1,x)
x <- x[with(x, order(id)), ]
# remove unnecessary entries
x <- x[!(duplicated(x$id) & x$v == 0), ]
x$cv <- cumsum(x$v) # updated cumsum

x$id <- NULL
require(data.table)
x.dt <- data.table(x, key="grp")
x.dt[, list(res = sum(p*v)/sum(v), cv = tail(cv, 1)), by=grp]

运行您的数据：

#    grp       res  cv
# 1:   0 10.037747 100
# 2:   1  9.994648 114

在@ geektrader的数据上运行：

#    grp       res  cv
# 1:   0  9.999680 100
# 2:   1 10.040139 200
# 3:   2  9.976425 300
# 4:   3 10.026622 400
# 5:   4 10.068623 500
# 6:   5  9.982733 562

以下是相对较大数据的基准：

set.seed(12345)
x <- data.frame(cbind(p=rnorm(1e5, 10, 0.1), v=round(runif(1e5, 1, 10))))

require(rbenchmark)
benchmark(out <- FN1(x), replications=10)

#            test replications elapsed relative user.self
# 1 out <- FN1(x)           10  13.817        1    12.586

1e5行需要 1.4秒。

通过相等的桶聚合数据帧

2 个答案: