Question

我的数据框类似于下面生成的数据框。一些人对特定变量有多个观察值，并且每个变量都具有估计的相关标准误差（SE）。我想创建一个新的数据框，每个人只包含一行。对于具有多个观察值的个体，例如Kim或Bob，我需要基于估计的标准误差以及新计算的加权平均值的方差来计算精确加权平均值。例如，对于Bob，对于var1，这意味着我希望新数据帧中的var1值为：

weighted.mean(c(example$var1[2], example$var1[10]), 
   c(1/example$SE1[2], 1/example$SE1[10]))

和鲍勃的新SE1（加权均值的方差）为：

1/sum(1/example$SE1[2] + 1/example$SE1[10])

我已经尝试使用聚合函数并且能够计算值的算术平均值，但是我写的简单函数不使用标准错误也不能处理NA。

aggregate(example[,1:4], by = list(example[,5]), mean)

感谢任何帮助开发一些代码来解决这个问题。这是示例数据集。

set.seed(1562)
example=data.frame(rnorm(10,8,2))
colnames(example)[1]=("var1")
example$SE1=rnorm(10,2,1)
example$var2=rnorm(10,8,2)
example$SE2=rnorm(10,2,1)
example$id= 
  c ("Kim","Bob","Joe","Sam","Kim","Kim","Joe","Sara","Jeff","Bob")
example$SE1[5]=NA
example$var1[5]=NA
example$SE2[10]=NA
example$var2[10]=NA
example

       var1      SE1      var2        SE2   id
1   9.777769 2.451406  6.363250  2.2739566  Kim
2   8.753078 2.174308  6.219770  1.4978380  Bob
3   7.977356 2.107739  6.835998  2.1647437  Joe
4  11.113048 2.713242 11.091650  1.7018666  Sam
5         NA       NA 11.769884 -0.1310218  Kim
6   5.271308 1.831475  6.818854  3.0294338  Kim
7   7.770062 2.094850  6.387607  0.2272348  Joe
8   9.837612 1.956486  8.517445  3.5126378 Sara
9   4.637518 2.516896  7.173460  2.0292454 Jeff
10  9.004425 1.592312        NA         NA  Bob

Answer 1

我喜欢这些问题的plyr包。它应该在功能上等同于aggregate，但我认为它使用起来很方便。在website上有很多例子和一个很棒的~20页介绍。对于这个问题，由于数据以data.frame开头，而另一端需要另一个data.frame，我们使用ddply()

library(plyr)
#f1()
ddply(example, "id", summarize, 
      newMean = weighted.mean(x=var1, 1/SE1, na.rm = TRUE),
      newSE = 1/sum(1/SE1, na.rm = TRUE)
      )

返回：

    id newmean   newSE
1  Bob  8.8982 0.91917
2 Jeff  4.6375 2.51690
3  Joe  7.8734 1.05064
4  Kim  7.1984 1.04829
5  Sam 11.1130 2.71324
6 Sara  9.8376 1.95649

还可以查看?summarize和？transform以了解其他一些好的背景知识。如果需要更复杂的任务，您还可以将匿名函数传递给plyr函数。

或使用data.table包可以更快地完成某些任务：

library(data.table)
dt <- data.table(example, key="id")
#f2()
dt[, list(newMean = weighted.mean(var1, 1/SE1, na.rm = TRUE),
          newSE = 1/sum(1/SE1, na.rm = TRUE)),
   by = "id"]

快速基准：

library(rbenchmark)
#f1 = plyr, #f2 = data.table
benchmark(f1(), f2(), 
          replications = 1000,
          order = "elapsed",
          columns = c("test", "elapsed", "relative"))

      test elapsed relative
    2 f2()   3.580   1.0000
    1 f1()   6.398   1.7872

因此，在我的简单笔记本电脑上，data.table()对于此数据集的速度要快1.8倍。

通过重复观察在行之间产生精确加权平均值

1 个答案: