两个样本之间的Kullback-Leibler距离

Question

我正在使用属于2组A和B的数据。我正在尝试找到显示2个种群之间最大差异的变量，我认为Kullback-Leibler距离将是一个很好的衡量标准。这是代表我的数据的样本

df1 <- structure(list(Var1 = c(2L, 3L, 5L, 7L, 2L, 1L, 0L, 0L, 0L, 1L, 
3L, 4L), VarA = c(0.56, 0.43, 0.25, 0.12, 0.78, 0.55, 0.35, 0.36, 
0.3, 0.41, 0.43, 0.5), VarT = c(10L, 11L, 15L, 12L, 8L, 7L, 7L, 
7L, 6L, 5L, 1L, 2L), Var3 = c(152L, 187L, 149L, 132L, 132L, 178L, 
240L, 205L, 137L, 125L, 124L, 56L), group = structure(c(1L, 1L, 
1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "A", class = "factor")), .Names = c("Var1", 
"VarA", "VarT", "Var3", "group"), class = "data.frame", row.names = c(NA, 
-12L))

df2 <- structure(list(Var1 = c(5L, 8L, 7L, 4L, 5L, 2L, 1L, 2L, 6L, 5L
), VarA = c(0.24, 0.76, 0.43, 0, 0.52, 0.63, 0.46, 0.64, 0.55, 
0.78), VarT = c(10L, 8L, 9L, 5L, 11L, 14L, 12L, 1L, 7L, 7L), 
    Var3 = c(205L, 120L, 531L, 203L, 215L, 224L, 211L, 212L, 
    134L, 222L), group = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 
    1L, 1L, 1L, 1L), .Label = "B", class = "factor")), .Names = c("Var1", 
"VarA", "VarT", "Var3", "group"), class = "data.frame", row.names = c(NA, 
-10L))

我正在考虑在类似列的for循环中应用Kullback-Leibler距离测试，以查看显示两组中同一变量之间最大距离的变量。

首先，我尝试从FNN包

运行此命令

require(FNN)
X <- df1[,2]
Y <- df2[,2]
KLx.dist(X, Y, k = 5)
[1]        NaN       -Inf -0.1928958  0.0312911  0.1972085

结果很有趣，这些距离都没有彼此接近！我的问题是：我正确地应用了测试吗？如果是的话，为什么距离会显示出巨大的差异呢？

注意：如果任何其他测试可以完成这项工作，我很乐意尝试。

非常感谢，

Answer 1

问题是您没有足够的数据来准确计算使用最近邻居的KL分歧。即使对于大型数据集，当最近邻居的数量很小时，此特定距离度量也会跳跃。例如：

set.seed(123)
x<-rnorm(50000)
y<-rnorm(50000)+0.1
plot(KLx.dist(x,y,100))

你有12个数据点，所以即使选择6个最近的邻居也只有数据集的一半。您是否考虑过简单地使用可以处理小样本的T检验？