没有机器人robots.txt位置

Question

与robots.txt有点混淆。

假设我想在位于基于Linux的Apache服务器上的站点上阻止机器人：

var/www/mySite

我会将robots.txt放在该目录中（与index.php一起），其中包含：

User-agent: *
Disallow: /

正确？

这是否会阻止机器人索引整个服务器或只是var / www / mySite中的站点？例如，var / www / myOtherSite中的站点是否也阻止了机器人？因为我只想为一个网站做这件事。

谢谢！

Answer 1

机器人（表现良好的机器人，即尊重robots.txt完全是自愿的）将使用您网域根目录中的robots.txt。如果mySite已关闭mysite.com而myOtherSite已关闭myothersite.com，那么robots.txt只会在mysite.com上投放，意图。

要进行测试，只需前往http://myothersite.com/robots.txt并确认您获得了404。