codeigniter防止系统文件夹和文件夹被编入索引

Question

系统文件夹，img文件夹，css文件夹和js文件夹包含与网站内容无关的代码。我们应该在robots.text中禁止它们吗？

Answer 1

使用robots.txt文件禁止目录意味着：

• 主要搜索引擎不会将其内容编入索引
  • 如果这些文件的内容与您的网站无关，并且/或者不应在搜索中返回，则可以这样做。
• 但他们的内容仍可供用户使用

robots.txt只是对抓取工具的一种指示 - 绝对不是禁止访问任何人的方法。

Answer 2

首先，它是robots.txt，而不是robots.text。

其次，CSS文件和Javascripts无论如何都不会被编入索引，图像通常不会被直接索引，它们在页面中找到时会被编入索引，系统文件夹甚至不能通过互联网访问。

最后，正如Martin所说，robots.txt文件只是搜索引擎的推荐，他们不需要遵循它（尽管通常是大的）。

Answer 3

默认情况下，用户无法访问Codeigniter中的系统文件夹，因此您不必担心。

就像Andrew写的那样，img，css和js文件夹的内容不会被搜索引擎索引，所以你也不用担心。

但是，如果您有任何理由阻止搜索引擎的上述文件的内容，您可以这样做而不用担心您的网站的排名和可见性会受此影响。

以下是Google提供的SEO建议：Seo Fact no. 19。