robots.txt文件在PHP项目中做了什么？
答案 0 :(得分：2)
不是PHP，请参阅：
<强> Introduction to "robots.txt"
“Robots.txt”是一个常规文本文件 通过它的名字，有特殊的 对大多数“光荣”的意义 网络上的机器人。通过定义一些 你可以在这个文本文件中的规则 指示机器人不要抓取和索引 你的某些文件，目录 网站，或者根本。例如，你可以 不希望Google抓取/ images 您网站的目录，因为它们都是 对你毫无意义，浪费你的 网站的带宽。 “Robots.txt”允许 你告诉谷歌。
答案 1 :(得分：2)
robots.txt与搜索引擎机器人相关，而不是特定于PHP项目。 它包含抓取您网站的机器人的说明，例如您不希望被搜索引擎抓取的网址等等。
请参阅http://www.webconfs.com/what-is-robots-txt-article-12.php
答案 2 :(得分：2)
它用于指示像google和yahoo这样的漫游者只抓取部分页面或根本不抓取。有关详细信息，请参阅http://www.robotstxt.org。
答案 3 :(得分：0)
robots.txt位于您网站的/。
当搜索引擎机器人找到您的网站时，它首先请求robots.txt找出它能够和不能索引的URI。
这是为了防止（这是一个公约，所以机器人可以忽略它）你的网站的某些部分弹出谷歌/雅虎（例如你的shoutbox ......）