是否有搜索引擎包括索引机器人，可以通过为机器人提供某些属性来构成特殊目录？

Question

我们的应用程序（C＃/ .NET）需要大量查询才能进行搜索。谷歌每天的50,000政策是不够的。我们需要通过我们设置的特定规则（例如国家域名）抓取互联网网站并收集网址，文本，关键字，网站名称以及创建我们自己的内部目录，以便我们不限于任何大规模的外部搜索引擎像谷歌或雅虎。

我们可以使用任何免费的开源解决方案在我们的服务器上安装它吗？

重新发明轮子毫无意义。

Answer 1

DataparkSearch可能是您需要的人。或者查看其他开源搜索引擎的this list。