从Lucene索引中获取最高频率项

时间:2010-05-12 19:00:41

标签: java lucene full-text-search indexing frequency

我需要从几个lucene索引中提取具有最高频率的术语,以便将它们用于某些语义分析。

所以,我想得到可能排名前30位的最常见的术语(仍然没有决定阈值,我会分析结果)和他们的每个索引计数。我知道我可能会失去一些精确度,因为可能会丢失一些副本,但是现在,让我说我很好。

所以对于提出的解决方案,(不用说可能)速度并不重要,因为我会进行静态分析,我会强调实现简单,因为我对Lucene并不熟练我无法理解它的一些概念..

我找不到任何类似的代码示例,所以具体建议(代码,伪代码,代码示例的链接......)感谢所有的建议!

谢谢!

2 个答案:

答案 0 :(得分:5)

一种非常简单的方法是使用Luke。在“概览”标签上,有一个“显示顶级字词”按钮,可用于您需要的内容。

答案 1 :(得分:2)

看看这个: http://sujitpal.blogspot.com/2009/02/summarization-with-lucene.html

此页面中的类具有computeTopTermQuery方法,您应该可以轻松地对其进行翻新以便遍历多个索引。