numpy直方图累积密度不总和为1

Question

从另一个帖子（@EnricoGiampieri's answer到cumulative distribution plots python）提示，我写道：

# plot cumulative density function of nearest nbr distances
# evaluate the histogram
values, base = np.histogram(nearest, bins=20, density=1)
#evaluate the cumulative
cumulative = np.cumsum(values)
# plot the cumulative function
plt.plot(base[:-1], cumulative, label='data')

我从np.histogram的文档中输入了密度= 1，其中说：

“请注意，除非选择单位宽度的区间，否则直方图值的总和不会等于1;它不是概率质量函数。”

嗯，确实，在绘制时，它们并不总和为1.但是，我不理解“统一宽度的箱子”。当我将箱子设置为1时，当然，我得到一张空图表;当我将它们设置为种群大小时，我得不到1（更像是0.2）。当我使用建议的40个箱子时，它们的总和大约为.006。

有人可以给我一些指导吗？谢谢！

Answer 1

您可以像这样简单地规范化values变量：

unity_values = values / values.sum()

一个完整的例子看起来像这样：

import numpy as np
import matplotlib.pyplot as plt

x = np.random.normal(size=37)
density, bins = np.histogram(x, normed=True, density=True)
unity_density = density / density.sum()

fig, ((ax1, ax2), (ax3, ax4)) = plt.subplots(nrows=2, ncols=2, sharex=True, figsize=(8,4))
widths = bins[:-1] - bins[1:]
ax1.bar(bins[1:], density, width=widths)
ax2.bar(bins[1:], density.cumsum(), width=widths)

ax3.bar(bins[1:], unity_density, width=widths)
ax4.bar(bins[1:], unity_density.cumsum(), width=widths)

ax1.set_ylabel('Not normalized')
ax3.set_ylabel('Normalized')
ax3.set_xlabel('PDFs')
ax4.set_xlabel('CDFs')
fig.tight_layout()

Answer 2

你需要确保你的箱子都是宽度1.那就是：

np.all(np.diff(base)==1)

要实现此目的，您必须手动指定垃圾箱：

bins = np.arange(np.floor(nearest.min()),np.ceil(nearest.max()))
values, base = np.histogram(nearest, bins=bins, density=1)

你得到：

In [18]: np.all(np.diff(base)==1)
Out[18]: True

In [19]: np.sum(values)
Out[19]: 0.99999999999999989

Answer 3

实际上是声明

“请注意，直方图值的总和不会等于 1，除非选择了单位宽度的 bin；它不是概率质量函数。”

表示我们得到的输出是各个 bin 的概率密度函数， 现在因为在 pdf 中，两个值之间的概率说 'a' 和 'b' 由范围 'a' 和 'b' 之间的 pdf 曲线下的面积表示。 因此，要获得相应 bin 的概率值，我们必须将该 bin 的 pdf 值乘以其 bin 宽度，然后获得的概率序列可以直接用于计算累积概率（因为它们现在已经标准化了）。

请注意，新计算出的概率之和将为 1，这满足总概率之和为 1 的事实，或者换句话说，我们可以说我们的概率已归一化。

见下面的代码， 这里我使用了不同宽度的垃圾箱，有些是宽度 1，有些是宽度 2，

import numpy as np
import math
rng = np.random.RandomState(10)   # deterministic random data
a = np.hstack((rng.normal(size=1000),
               rng.normal(loc=5, scale=2, size=1000))) # 'a' is our distribution of data
mini=math.floor(min(a))
maxi=math.ceil(max(a))
print(mini)
print(maxi)
ar1=np.arange(mini,maxi/2)
ar2=np.arange(math.ceil(maxi/2),maxi+2,2)
ar=np.hstack((ar1,ar2))
print(ar)  # ar is the array of unequal widths, which is used below to generate the bin_edges
counts, bin_edges = np.histogram(a, bins=ar, 
                             density = True)
print(counts)    # the pdf values of respective bin_edges
print(bin_edges) # the corresponding bin_edges
print(np.sum(counts*np.diff(bin_edges)))  #finding total sum of probabilites, equal to 1
print(np.cumsum(counts*np.diff(bin_edges))) #to get the cummulative sum, see the last value, it is 1.

现在我认为他们试图通过说 bin 的宽度应该为 1 来提及的原因可能是因为 如果 bin 的宽度等于 1，那么 pdf 和任何 bin 的概率都是相等的，因为如果我们计算 bin 下的面积，那么我们基本上是将 1 乘以该 bin 的相应 pdf，这又等于该 pdf 值。 所以在这种情况下，pdf 的值等于各个 bin 概率的值，因此已经归一化。