Question

我有一个data.frame有很多行和列，我想计算每个值与组中其他每个值的平均差异。
这是一个例子：

这是我想要计算的：

ID  value  value_mean_diff 
 1    4     (4-5)^2 + (4-7)^2 /groupsize = 3
 1    5     (5-4)^2 + (5-7)^2 / 3
 1    7     (7-4)^2 + (7-5)^2 / 3
 2    8     (8-6)^2 + (8-5)^2 + (8-6)^2 / 4
 2    6     (6-8)^2 + (6-5)^2 + (6-6)^2 / 4
 2    5     (5-8)^2 + (5-6)^2 + (5-6)^2 / 4
 2    6     (6-8)^2 + (6-6)^2 + (6-5)^2 / 4

我尝试使用aggregate（）但未能使其正常工作。

Answer 1

在crossjoin库中使用data.table的解决方案，其缺点是从原始数据框中删除重复的行：

> dt <- setDT(df)[,setNames(CJ(value, value), c("value", "value1")), .(ID)][,.(value_mean_diff = sum((value-value1)^2)/.N),.(ID, value)]
> dt
   ID value value_mean_diff
1:  1     4        3.333333
2:  1     5        1.666667
3:  1     7        4.333333
4:  2     5        2.750000
5:  2     6        1.250000
6:  2     8        4.250000

由于重复的行总是具有相同的value_mean_diff，因此您始终可以将它们合并以获取所有重复的行。

> merge(dt, df, by = c("ID", "value"))
   ID value value_mean_diff
1:  1     4        3.333333
2:  1     5        1.666667
3:  1     7        4.333333
4:  2     5        2.750000
5:  2     6        1.250000
6:  2     6        1.250000
7:  2     8        4.250000

<强>更新：由于上述方法是内存密集型的，您可以利用 value_mean_diff =（value - value_mean）^ 2 +方差（值）这一事实，您可以通过扩展基于其的方差来证明定义。有了这个事实，你可以通过以下方式计算：

> setDT(df)[, value_mean_diff := (value - mean(value))^2 + var(value) * (.N - 1) / .N, .(ID)]
> df
   ID value value_mean_diff
1:  1     4        3.333333
2:  1     5        1.666667
3:  1     7        4.333333
4:  2     8        4.250000
5:  2     6        1.250000
6:  2     5        2.750000
7:  2     6        1.250000

请记住，R中的var()函数会计算样本方差，因此您需要通过乘以因子（n-1）/ n 将其转换为总体方差。

Answer 2

以下是仅使用基础R的解决方案：

myData <- data.frame(ID=c(1,1,1,2,2,2,2), value=c(4,5,7,8,6,5,6), diff=NA)
for(i in 1:nrow(myData))
    myData$diff[i] <- with(data = myData,
        sum((value[i] - value[ID==ID[i]])**2)/length(value[ID==ID[i]]))

myData

  ID value     diff
1  1     4 3.333333
2  1     5 1.666667
3  1     7 4.333333
4  2     8 4.250000
5  2     6 1.250000
6  2     5 2.750000
7  2     6 1.250000

计算每行和每组的平均差异

2 个答案: