如何在php中创建搜索引擎？

Question

我即将创建一个非常大的项目。

如何创建具有以下功能的搜索引擎： -

1. 我给它一个URL，它将获得该页面中的所有可用链接
2. 它应该读取robots.txt文件以确保索引内容和索引内容
3. 我希望它能够将任何页面添加到数据库中的任何站点而不重新抓取它
4. 它读取xml站点地图
5. 如何使用关键字

如果可能的话，请：我如何构建我的数据库？

Answer 1

您提到的前两项 大纲。你现在就可以开始编码了。

其余的一些事情使雅虎，然后谷歌，需要很多人发现和实施。从你所知道的开始，从你的经历和错误中学习，然后从修订版2开始。等等。

Answer 2

1号 - 4号是你的第一阶段。这是您收集所有信息的爬行阶段。您需要编写一个爬网程序，在页面之间添加指向其数据库的链接。您还需要确定哪些页面需要更多/更少地被抓取。

一旦你对它进行了排序，你将不得不查看算法来弄清楚页面实际上在说什么。您需要将页面分解为其组件并存储其含义。您还需要大量的硬盘驱动器内存来存储页面中的文本。

相关

How do I make a simple crawler in PHP?

Where do search engines start crawling?

Google-like Search Engine in PHP/mySQL（最基本的文字匹配）

how does spider in a search engine works?