Lucene IndexSearcher导致OutOfMemoryException

时间:2013-01-01 10:09:10

标签: c# lucene.net

这是我搜索Lucene索引的代码,

String DocPath=@"c:\Test1.txt";
if (File.Exists(DocPath))
{
    StreamReader Reader = new StreamReader(DocPath);

    StringBuilder Content = new StringBuilder();
    Content.Append(Reader.ReadToEnd());

    if (Content.ToString().Trim() != "")
    {
        FSDirectory Direc = FSDirectory.Open(new DirectoryInfo(IndexDir));
        IndexReader Reader = IndexReader.Open(Direc, true);
        IndexSearcher searcher = new IndexSearcher(Reader);
        QueryParser parser = new QueryParser(Lucene.Net.Util.Version.LUCENE_30, "Content", new StandardAnalyzer(Lucene.Net.Util.Version.LUCENE_29, new FileInfo(Application.StartupPath + Path.DirectorySeparatorChar + "noise.dat")));
        BooleanQuery.MaxClauseCount = Convert.ToInt32(Content.ToString().Length);
        Query query = parser.Parse(QueryParser.Escape(Content.ToString().ToLower()));
        TopDocs docs = searcher.Search(query, Reader.maxDoc);
    }
}  

在这段代码中,我打开一个15MB的文本文件并将其提供给索引搜索器。搜索需要很长时间,显然会引发OutOfMemoryException。它甚至需要时间来解析查询。索引大小约为16K文档。

1 个答案:

答案 0 :(得分:2)

我建议你改变你的做法。使用该文档,存储包含文件哈希的附加字段,例如MD5哈希。

使用您的输入来计算它的哈希并为该哈希发出查询,并将匹配的文档与您的输入进行比较以确保相等。

它会更强大,也可能更高效。