从各个站点搜索文件并列出它们

Question

我想创建一个用于教育目的的文件搜索引擎。但我不知道如何。你能指出我正确的方向吗？我知道屏幕报废和apis。我使用asp.net＆amp; c＃用于编程。

作为一个例子，this search engine如何搜索kohit.net并提取链接。 Kohit不在url中提供API或使用参数。

Answer 1

根据你的例子我会说

1. 您要从每个要扫描的搜索引擎获取API，并使用该API使用搜索字词对其执行搜索并显示结果
2. 或者，如果无法使用API​​，您可以使用插入的搜索字词（如http://search.ie/search.php?search=search+terms）访问其搜索网址，并解析结果，创建结果列表并将其显示给用户。这是两种方法中最不喜欢的，因为它最有可能因目标搜索引擎代码的重组而失败

Answer 2

您可以使用http://www.searchblox.com/之类的工具，它使用Apache Lucene / Solr提供内置的抓取机制和索引。使用RESTful API，与ASP.NET的集成也非常简单。

如果您想从头开始构建解决方案，您可能需要考虑一个抓取工具并写入Lucene / Solr或Sphinx等搜索平台，并从您的应用程序中查询它们。使用SolrNet从ASP.NET查询Solr很简单。