我只是一个lucene启动器,并且在从RAMDIrectory更改为FSDirectory期间我遇到了问题:
首先是我的代码:
private static IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_43,
new StandardAnalyzer(Version.LUCENE_43));
Directory DIR = FSDirectory.open(new File(INDEXLOC)); //INDEXLOC = "path/to/dir/"
// RAMDirectory DIR = new RAMDirectory();
// Index some made up content
IndexWriter writer =
new IndexWriter(DIR, iwc);
// Store both position and offset information
FieldType type = new FieldType();
type.setStored(true);
type.setStoreTermVectors(true);
type.setStoreTermVectorOffsets(true);
type.setStoreTermVectorPositions(true);
type.setIndexed(true);
type.setTokenized(true);
IDocumentParser p = DocumentParserFactory.getParser(f);
ArrayList<ParserDocument> DOCS = p.getParsedDocuments();
for (int i = 0; i < DOCS.size(); i++) {
Document doc = new Document();
Field id = new StringField("id", "doc_" + i, Field.Store.YES);
doc.add(id);
Field text = new Field("content", DOCS.get(i).getContent(), type);
doc.add(text);
writer.addDocument(doc);
}
writer.close();
// Get a searcher
IndexSearcher searcher = new IndexSearcher(DirectoryReader.open(DIR));
// Do a search using SpanQuery
SpanTermQuery fleeceQ = new SpanTermQuery(new Term("content", "zahl"));
TopDocs results = searcher.search(fleeceQ, 10);
for (int i = 0; i < results.scoreDocs.length; i++) {
ScoreDoc scoreDoc = results.scoreDocs[i];
System.out.println("Score Doc: " + scoreDoc);
}
IndexReader reader = searcher.getIndexReader();
AtomicReader wrapper = SlowCompositeReaderWrapper.wrap(reader);
Map<Term, TermContext> termContexts = new HashMap<Term, TermContext>();
Spans spans = fleeceQ.getSpans(wrapper.getContext(), new Bits.MatchAllBits(reader.numDocs()), termContexts);
int window = 2;// get the words within two of the match
while (spans.next() == true) {
Map<Integer, String> entries = new TreeMap<Integer, String>();
System.out.println("Doc: " + spans.doc() + " Start: " + spans.start() + " End: " + spans.end());
int start = spans.start() - window;
int end = spans.end() + window;
Terms content = reader.getTermVector(spans.doc(), "content");
TermsEnum termsEnum = content.iterator(null);
BytesRef term;
while ((term = termsEnum.next()) != null) {
// could store the BytesRef here, but String is easier for this
// example
String s = new String(term.bytes, term.offset, term.length);
DocsAndPositionsEnum positionsEnum = termsEnum.docsAndPositions(null, null);
if (positionsEnum.nextDoc() != DocIdSetIterator.NO_MORE_DOCS) {
int i = 0;
int position = -1;
while (i < positionsEnum.freq() && (position = positionsEnum.nextPosition()) != -1) {
if (position >= start && position <= end) {
entries.put(position, s);
}
i++;
}
}
}
System.out.println("Entries:" + entries);
}
它只是我在一个很棒的网站上发现的一些代码,我想尝试.... 一切都很好用RAMDirectory。但是如果我把它改成我的FSDirectory它会给我一个NullpointerException就像:
线程“main”中的异常java.lang.NullPointerException at com.org.test.TextDB.myMethod(TextDB.java:184)at com.org.test.Main.main(Main.java:31)
语句 条款内容= reader.getTermVector(spans.doc(),“content”); 似乎没有结果并返回null。所以例外。但为什么?在我的ramDIR中一切正常。
似乎indexWriter或Reader(实际上不知道)没有写入或没有从索引中正确读取字段“content”。但我真的不知道为什么它在RAMDirectory中“写入”而不是用FSDIrectory写的?!
有人对此有所了解吗?
答案 0 :(得分:1)
给测试一个快速测试,我无法重现你的问题。
我认为这里最可能的问题是索引中的旧文档。编写它的方式,每次运行时,都会有更多文档添加到索引中。以前运行的旧文档不会被删除或覆盖,他们只会坚持下去。所以,如果你之前在同一个目录上运行过这个,比方说也许,在你添加行type.setStoreTermVectors(true);
之前,你的一些结果可能是带有术语向量的旧文档,而reader.getTermVector(...)
将返回null,如果文档没有存储术语向量。
当然,RAMDirectory
中索引的任何内容都会在执行完成后立即删除,因此在这种情况下不会出现问题。
简单的解决方案是尝试删除索引目录并再次运行。
如果您想在运行时使用新索引,可以通过IndexWriterConfig
进行设置:
private static IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_43,
new StandardAnalyzer(Version.LUCENE_43));
iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
当然,这是一种猜测,但似乎与您所描述的行为一致。