robots.txt禁止空白的PHP页面并包括？

Question

我是否应该禁止robots.txt中的某些PHP页面无意向用户显示内容，而是运行一个脚本并返回空白或输出非常少的代码，这些代码应该用在其他地方？

示例：

• 空白的PHP页面。示例是用于发送电子邮件的PHP页面
• 由Ajax调用并且不输出任何内容的PHP页面。
• 由Ajax调用的PHP页面和输出响应代码，如JSON或XML。
• 包含网页标题或配置文件的模板等页面。
• 简单地重定向到另一个页面的PHP页面。

感谢你们的帮助。

Answer 1

这些是搜索引擎不想要或不需要抓取和索引的内容的绝佳示例。您应该使用robots.txt文件阻止这些。特别是如果抓取它们会导致仅出于人类消费的行为。

仅供参考，包含和配置文件不应该在您的webroot中，因此爬网程序或用户无法通过Web访问。如果他们是你应该考虑搬家。