我想使用Open Search Server http://www.open-search-server.com/在生产级别创建Web搜索引擎。有没有其他好的免费软件用于创建搜索引擎？我想抓取数百万个网站。
答案 0 :(得分：4)
（披露：此帖子的作者隶属于此处提及的网站/产品）
OpenSearchServer基于Lucene。此外，它还包含一个功能强大的网络爬虫，能够索引数百万个页面。我是这个软件的创始人。我在数千个网站的索引项目中使用它。
但是，索引数百万个网站是另一回事。您需要在多个服务器上分发爬网以构建分布式索引。
然后，您使用另一个服务器池来处理来自用户的搜索请求。 可以使用几个OpenSearchServer实例来做到这一点。
无论您选择哪种软件，都必须谨慎选择硬件，尤其是存储部件。在大索引上，搜索查询的性能与存储的性能有关。欢迎使用大型raid池或SSD磁盘。
答案 1 :(得分：0)