使用Robot.txt

Question

为什么我需要在我的网站上使用Robot.txt文件。我知道如何使用它，我想知道为什么使用它？

Answer 1

当然，您可以在Google上进行更多研究以找到答案，但作为一个例子：

想象一下Google发现您的新网站在线发布，并扫描您的所有网页以在其搜索索引中发布。您可能不希望谷歌发布每个页面，例如子页面，因为您不希望用户直接从谷歌访问它，而是通过主条目页面。