Question

如何合并2个或更多lucene索引并避免在我的最终索引中出现重复值？

今天，我正在使用此代码在索引之间进行合并：

        IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_36, new StandardAnalyzer(Version.LUCENE_36));
        IndexWriter writer = new IndexWriter(getFSDirectory(INDEX_DIR), iwc);
        LogMergePolicy logMerge = new LogMergePolicy() {

            @Override
            protected long size(SegmentInfo arg0) throws IOException {
                return 0;
            }
        };
        logMerge.setMergeFactor(1000);
        iwc.setRAMBufferSizeMB(50);

        Directory indexes[] = new Directory[INDEXES_DIR.size()];

        for (int i = 0; i < INDEXES_DIR.size(); i++) {
            Directory d = FSDirectory.open(new File(INDEXES_DIR.get(i)).getAbsoluteFile());

            System.out.println("Adding: " + INDEXES_DIR.get(i));
            indexes[i] = d;
        }

        System.out.print("Merging added indexes...");
        writer.addIndexes(indexes);
        System.out.println("done");

Answer 1

我不相信Lucene提供了任何简单易行的方法，例如addIndexes。

您可能需要：

再次通过索引以删除重复项。您可以使用TermsEnum获取每个文档中id字段的term()和docFreq()，以检测重复项。然后，您可以通过拨打TermsEnum.docs从DocsEnum获取DocID。

或者，可能是更健全的方式，自己执行合并，使用IndexWriter.updateDocument来防止重复。

如何合并2个或更多lucene索引并避免在我的最终索引中出现重复值？

1 个答案: