针对搜索引擎的数据库建议

Question

我正在编写一个搜索引擎，我正在寻找一个数据库来存储我将用于URL数据库和数据存储的所有已爬网数据。

1. 它应该是基于磁盘的而不是基于内存的

2. Java更可取，因为我的应用程序在java中，所以我可以 很容易嵌入它。

3. 实用

4. Linux和Windows首选。

Answer 1

看看Hadoop和HBase

http://hadoop.apache.org/

http://hbase.apache.org/

Answer 2

我非常喜欢Solr，它是Lucene上的一个瘦java包装器，它是一个非常广泛使用的，性能极高，基于文本的nosql数据库（可能是 most < / em>广泛使用）。

找到匹配项时速度非常快（毫秒响应），您可以在获得结果时对结果进行排序。

设置起来非常简单，在tomcat下运行，使用普通的旧磁盘文件并在linux和windows下运行，因此它可以满足您的所有要求。

我在几个项目中使用它并且它总是成功的。