信息检索,倒排索引问题

时间:2014-09-08 14:29:39

标签: python information-retrieval tf-idf inverted-index cosine-similarity

您好我正在尝试编写一个从xml集合索引某些文档的小程序。我使用tf-idf方法。现在,当我的程序读取查询时,它会为每个文档中的每个单词返回一个元组列表(' tf-idf',#39; docid')。

这是一个例子:

Query: "Dog water"

Documents: [(0.212,1),(0.334,1),(0.111,2),(0,2)]  

在这种情况下,文档2里面只有一个单词。

现在我的问题是:我知道我必须在这些文档和查询之间做点积,但我该怎么做呢?如何将查询转换为权重向量?

谢谢。

1 个答案:

答案 0 :(得分:0)

如果您的问题是:“如何从此列表中构建docid: [weight,...] dict,答案很简单:

from collections import defaultdict

def transform(query_results):
     revindex = defaultdict(list)
     for weight, docid in query_results:
         revindex[docid].append(weight)
     return revindex

否则请提供更多解释 - 如果可能的话,请提供预期的输出示例。