用于索引源代码的Tokenizer

Question

假设您想为github或stackoverflow等网站创建搜索引擎，其中大部分文本内容实际上都是源代码。什么是一个很好的Lucene标记器来处理这种类型的文件？

Answer 1

您正在寻找：http://www.opensourceconnections.com/2013/02/18/indexing-stackoverflow-in-solr/。这包括所有步骤等。