假设我有以下频率表。
> print(dat)
V1 V2
1 1 11613
2 2 6517
3 3 2442
4 4 687
5 5 159
6 6 29
# V1 = Score
# V2 = Frequency
如何有效计算均值和标准差? 屈服:SD = 0.87平均值= 1.66。 按频率复制分数需要很长时间才能计算出来。
答案 0 :(得分:7)
意思很简单。 SD有点棘手(不能再次使用fastmean()因为分母中有n-1。
> dat <- data.frame(freq=seq(6),value=runif(6)*100)
> fastmean <- function(dat) {
+ with(dat, sum(freq*value)/sum(freq) )
+ }
> fastmean(dat)
[1] 55.78302
>
> fastRMSE <- function(dat) {
+ mu <- fastmean(dat)
+ with(dat, sqrt(sum(freq*(value-mu)^2)/(sum(freq)-1) ) )
+ }
> fastRMSE(dat)
[1] 34.9316
>
> # To test
> expanded <- with(dat, rep(value,freq) )
> mean(expanded)
[1] 55.78302
> sd(expanded)
[1] 34.9316
请注意,fastRMSE
计算sum(freq)
两次。消除这种情况可能会导致另一次轻微的速度提升。
<强>基准强>
> microbenchmark(
+ fastmean(dat),
+ mean( with(dat, rep(value,freq) ) )
+ )
Unit: microseconds
expr min lq median uq max
1 fastmean(dat) 12.433 13.5335 14.776 15.398 23.921
2 mean(with(dat, rep(value, freq))) 21.225 22.3990 22.714 23.406 86.434
> dat <- data.frame(freq=seq(60),value=runif(60)*100)
>
> dat <- data.frame(freq=seq(60),value=runif(60)*100)
> microbenchmark(
+ fastmean(dat),
+ mean( with(dat, rep(value,freq) ) )
+ )
Unit: microseconds
expr min lq median uq max
1 fastmean(dat) 13.177 14.544 15.8860 17.2905 54.983
2 mean(with(dat, rep(value, freq))) 42.610 48.659 49.8615 50.6385 151.053
> dat <- data.frame(freq=seq(600),value=runif(600)*100)
> microbenchmark(
+ fastmean(dat),
+ mean( with(dat, rep(value,freq) ) )
+ )
Unit: microseconds
expr min lq median uq max
1 fastmean(dat) 15.706 17.489 25.8825 29.615 79.113
2 mean(with(dat, rep(value, freq))) 1827.146 2283.551 2534.7210 2884.933 26196.923
复制解决方案在条目数中似乎是O(N ^ 2)。
fastmean
解决方案似乎有12毫秒左右的固定成本,之后它可以很好地扩展。
更多基准
Comparison with dot product.
dat <- data.frame(freq=seq(600),value=runif(600)*100)
dbaupp <- function(dat) {
total.count <- sum(dat$freq)
as.vector(dat$freq %*% dat$value) / total.count
}
microbenchmark(
fastmean(dat),
mean( with(dat, rep(value,freq) ) ),
dbaupp(dat)
)
Unit: microseconds
expr min lq median uq max
1 dbaupp(dat) 20.162 21.6875 25.6010 31.3475 104.054
2 fastmean(dat) 14.680 16.7885 20.7490 25.1765 94.423
3 mean(with(dat, rep(value, freq))) 489.434 503.6310 514.3525 583.2790 30130.302
答案 1 :(得分:6)
怎么样:
> m = sum(dat$V1 * dat$V2) / sum(dat$V2)
> m
[1] 1.664102
> sigma = sqrt(sum((dat$V1 - m)**2 * dat$V2) / (sum(dat$V2)-1))
> sigma
[1] 0.8712242
这里没有复制。
答案 2 :(得分:5)
以下代码不使用复制,并且它尽可能使用R内置(特别是针对点产品),因此使用sum(V1 * V2)
的解决方案可能更有效。 (编辑:这可能是假的:@ gsk3的解决方案似乎比我的测试快了1.5到2倍。)
均值(或期望)的定义为sum(n * freq(n)) / total.count
,其中n
为“得分”,freq(n)
为n
的频率(total.count
为只是sum(freq(n))
)。分子中的和恰好是频率得分的dot product。
R中的点积为%*%
(它返回一个矩阵,但基本上可以在向量中处理大多数用途):
> total.count <- sum(dat$V2)
> mean <- dat$V1 %*% dat$V2 / total.count
> mean
[,1]
[1,] 1.664102
the end of this section of the Wikipedia article有一个公式,转换为以下代码
> sqrt(dat$V1^2 %*% dat$V2 / total.count - mean^2)
[,1]
[1,] 0.8712039
答案 3 :(得分:4)
我可能会遗漏一些东西,但这似乎很快就会起作用,甚至在频率列中代替数百万:
dset <- data.frame(V1=1:6,V2=c(11613,6517,2442,687,159,29))
mean(rep(dset$V1,dset$V2))
#[1] 1.664102
sd(rep(dset$V1,dset$V2))
#[1] 0.8712242