想要英语中最常见的单词

时间:2010-09-02 07:49:37

标签: java parsing text wikipedia

我想用英语最常用词。基本上,我正在处理维基百科文本,即使在删除停用词之后,我仍然坚持很多单词。我尝试使用谷歌搜索频繁的单词,但得到了以下链接。

http://en.wiktionary.org/wiki/Wiktionary:Frequency_lists#English

我必须手动从这些链接中抓取数据。这些单词的已知来源是否可以直接下载?

谢谢

1 个答案:

答案 0 :(得分:2)

与所有统计数据一样,您的答案将取决于您的抽样内容。是您对“英语”的定义 - 维基百科中使用的语言。由于您链接的页面表明单词的频率因不同的样本而异。对语言处理工作进行文献综述可能会给你一个过时的清单。

并相信有人建立一个名称为wordfrequency的网站。更具体地说是this