“ Disallow：/ sitepanel /和Disallow：/ cgi-bin /”的用途是什么？

Question

我看到一些网站在robots.txt文件中使用“ Disallow：/ sitepanel /或Disallow：/ cgi-bin /”。我了解我们使用“ Disallow：”来阻止搜索引擎爬网程序抓取特定的网页或目录，但是我不明白为什么我们需要禁止“ / cgi-bin /或/ sitepanel”目录？ 任何帮助，将不胜感激。预先感谢。

Answer 1

如您所说，搜索引擎将停止抓取该页面。

这样做有2个好处：

1. 此页面将永远不会出现在搜索结果中。您不希望用户轻松访问它们。
2. 搜索引擎可以专注于您的重要页面，而不会浪费搜寻预算。