robots.txt哪些文件夹禁止 - SEO？

Question

我目前正在编写我的robots.txt文件，但在决定是否允许或禁止某些文件夹用于搜索引擎优化目的时遇到一些问题。

以下是我的文件夹：

• / css /（css）
• / js /（javascript）
• / img /（我用于网站的图片）
• / php /（PHP将返回一个空白页面，例如checkemail.php，用于检查电子邮件地址或register.php，将数据放入SQL数据库并发送电子邮件）
• / error /（我的错误401,403,404,406,500 html页面）
• / include /（header.html和footer.html I include）

我正在考虑不允许使用PHP页面，剩下的就这样了。

您怎么看？

非常感谢

劳伦

Answer 1

/ css和/ js - 无论您是否在robots.txt中拥有它们，CSS和Javascript文件都可能被googlebot抓取。 Google使用它们呈现您的网页以进行网站预览。 Google很好地问你不将它们放入robots.txt。

/ img - 即使在robots.txt中，Googlebot也可能会像CSS和Javascript一样抓取此内容。将图片放入robots.txt通常会阻止他们在Google图片搜索中编入索引。 Google图片搜索可能是您网站访问者的来源，因此您可能希望将其编入索引。

/ php - 听起来你不希望蜘蛛点击执行操作的网址。好的电话使用robots.txt

/ error - 如果您的网站设置正确，蜘蛛可能永远不知道您的错误页面是从哪个目录中提供的。它们通常在有错误的URL上提供服务，蜘蛛永远不会看到它们的实际URL。如果您重定向到它们，情况并非如此，无论如何这不是推荐的做法。因此，我想说没有必要把它们放在robots.txt

中