只是Google的副本

Question

我想创建像Google或Bing这样的简单搜索引擎。 Google或Bing从什么数据中获取数据？我可以从中获取数据吗？

我将在Spring框架中创建它。

Answer 1

我不确定框架

但是您只需要一些东西

1. 所有活动域列表（选中此https://whoisdatacenter.com/
2. 您需要一个静态IP并告知网站有关使用代理名称--user-agent mybot
3. 您必须非常擅长curl / sed / awk / grep
4. 示例我正在使用我的机器人，当我执行nmap / nslookup /获取数据库索引中的网站数据时，我只是告诉所有网站我是谁。
5. 不要使用Google / Yahoo这样的用户代理，您将被许多服务器阻止

PS：我也是一个新手……但是我不知怎地通过上述步骤完成了工作。

有184-2.1亿个活动域。您需要功能强大的服务器。我用bash制作