Zipf分布：如何测量Zipf分布

Question

如何衡量或找到Zipf分布？例如，我有一个英语单词语料库。如何找到Zipf分布？我需要找到Zipf ditribution然后绘制它的图形。但我陷入第一步，就是找到Zipf发行版。

编辑：根据每个单词的频率计数，很明显它遵循Zipf定律。但我的目标是绘制一个zipf分布图。我不知道如何计算分布图的数据

Answer 1

我不假装了解统计数据。但是，根据scipy site的阅读，这是python中的天真尝试。

构建数据

首先我们获取数据。例如，我们从国家医学图书馆MeSH（医学主题标题）ASCII文件d2016.bin (28 MB)下载数据 接下来，我们打开文件，转换为字符串。

open_file = open('d2016.bin', 'r')
file_to_string = open_file.read()

接下来，我们在文件中找到单个单词并分开单词。

words = re.findall(r'(\b[A-Za-z][a-z]{2,9}\b)', file_to_string)

最后，我们准备一个dict，其中包含唯一的单词作为键和单词计数值。

for word in words:
    count = frequency.get(word,0)
    frequency[word] = count + 1

构建zipf分发数据
出于速度目的，我们将数据限制为1000字。

n = 1000
frequency = {key:value for key,value in frequency.items()[0:n]}

之后我们获得值的频率，转换为numpy数组并使用numpy.random.zipf函数从zipf分布中提取样本。

分布参数a =2.作为样本，因为它需要大于1。 出于可见性目的，我们将数据限制为50个采样点。

s = frequency.values()
s = np.array(s)

count, bins, ignored = plt.hist(s[s<50], 50, normed=True)
x = np.arange(1., 50.)
y = x**(-a) / special.zetac(a)

最后绘制数据。

全力以赴

import re
from operator import itemgetter
import matplotlib.pyplot as plt
from scipy import special
import numpy as np

#Get our corpus of medical words
frequency = {}
open_file = open('d2016.bin', 'r')
file_to_string = open_file.read()
words = re.findall(r'(\b[A-Za-z][a-z]{2,9}\b)', file_to_string)

#build dict of words based on frequency
for word in words:
    count = frequency.get(word,0)
    frequency[word] = count + 1

#limit words to 1000
n = 1000
frequency = {key:value for key,value in frequency.items()[0:n]}

#convert value of frequency to numpy array
s = frequency.values()
s = np.array(s)

#Calculate zipf and plot the data
a = 2. #  distribution parameter
count, bins, ignored = plt.hist(s[s<50], 50, normed=True)
x = np.arange(1., 50.)
y = x**(-a) / special.zetac(a)
plt.plot(x, y/max(y), linewidth=2, color='r')
plt.show()

<强>剧情