标签： javascript php search web-crawler search-engine
我正在尝试创建一个搜索引擎。我想知道如何在启动中获取 URL以在我的数据库中编制索引？例如，google如何获取网站的网址以进行抓取？
答案 0 :(得分：1)
您可以从现有索引开始，并使用它来构建自己的索引。 dmoz是一个人类可编辑的索引：http://www.dmoz.org/