我正在尝试使用 scipy.stats.entropy 来估算两个发行版之间的 Kullback-Leibler （KL）差异。更具体地说，我想使用KL作为度量来决定两个分布的一致性。
但是，我无法解释KL值。例如：
t1 = numpy.random.normal（-2.5,0.1,1000）
t2 = numpy.random.normal（-2.5,0.1,1000）
scipy.stats.entropy（t1，t2）
0.0015539217193737955
然后，
T1 = numpy.random.normal（-2.5,0.1,1000）
t2 = numpy.random.normal（2.5,0.1,1000）
scipy.stats.entropy（T1，T2）
= 0.0015908295787942181
基本上没有重叠的完全不同的分布如何具有相同的KL值？
T1 = numpy.random.normal（-2.5,0.1,1000）
t2 = numpy.random.normal（25.，0.1,1000）
scipy.stats.entropy（T1，T2）
= 0.00081111364805590595
这个给出了更小的KL值（即距离），我倾向于将其解释为“更一致”。
在此背景下有关如何解释scipy.stats.entropy（即KL分歧距离）的任何见解？
答案 0 :(得分：16)
numpy.random.normal(-2.5,0.1,1000)是来自正态分发的示例。它只是随机顺序的1000个数字。 entropy的{{3}}说：
pk[i]是事件i的概率（可能是非标准化的）。
因此，为了得到一个有意义的结果，你需要数字是＆＃34;对齐＆＃34;以便相同的指数对应于分布中的相同位置。在您的示例中，t1[0]与t2[0]没有任何关系。您的示例并未提供有关概率每个值的直接信息，这是您对KL分歧所需的信息;它只是给你一些从分布中获取的实际值。
获得对齐值的最直接方法是在某些固定值的值处评估分布的概率密度函数。为此，您需要使用scipy.stats.norm（这会生成可以通过各种方式操作的分发对象）而不是np.random.normal（仅返回采样值）。这是一个例子：
t1 = stats.norm(-2.5, 0.1)
t2 = stats.norm(-2.5, 0.1)
t3 = stats.norm(-2.4, 0.1)
t4 = stats.norm(-2.3, 0.1)
# domain to evaluate PDF on
x = np.linspace(-5, 5, 100)
然后：
>>> stats.entropy(t1.pdf(x), t2.pdf(x))
-0.0
>>> stats.entropy(t1.pdf(x), t3.pdf(x))
0.49999995020647586
>>> stats.entropy(t1.pdf(x), t4.pdf(x))
1.999999900414918
你可以看到，随着分布进一步分开，他们的KL分歧会增加。 （事实上，使用你的第二个例子会给出inf的KL分歧，因为它们重叠得很少。）