robot.txt阻止目录显示

Question

几个问题

• 如何使用robots.txt？
有效地阻止目录及其内容

可以这样做：

用户代理：* 禁止：/组 禁止：/ home

您是否必须设置尾部斜杠，例如：

用户代理：* 不允许：/ group / 禁止：/ home /

还有什么区别在robots.txt中的Disallow和添加？

如果我想谷歌不在目录中显示特定的页面和文件夹，我该怎么办？

Answer 1

  

可以这样做：

  用户代理：*不允许：/ group Disallow：/ home

1. 您必须将它们放在不同的行上
2. 如果您要尝试排除目录home和group
，强烈建议您设置尾部斜杠

我会做这样的事情：

User-agent: *
Disallow: /group/
Disallow: /home/

关于尾部斜杠，是的，您应该根据http://www.thesitewizard.com/archive/robotstxt.shtml添加：

  

如果要指示目录，请记住添加尾部斜杠（“/”）。如果你只是添加

  用户代理：*
  禁止：/ privatedata

  机器人将不被允许访问privatedata.html以及？privatedataandstuff.html以及从/ privatedata /（等等）开始的目录树。换句话说，在Disallow行列出的任何内容后面都有一个隐含的通配符。

如果您不希望Google显示特定页面或目录，请为每个页面或目录添加Disallow行。