我可以获得有关robots.txt的解释吗？

Question

我只想知道您的网站是否需要robots.txt，以便抓取工具为网页编制索引。或者它只是禁止您不想索引的任何内容。

Answer 1

您无需robots.txt即可为抓取工具编制索引。相反，它用于禁止网站某些部分的某些机器人。

您需要知道的只有：http://www.robotstxt.org/

Answer 2

我不同意，当使用一个或多个地图时，robots.txt可以（并且应该）使用。虽然它们不是强制性的，但强烈建议使用它们来方便索引。