如何在登台域上禁止robots.txt

时间:2014-07-09 08:20:07

标签: regex .htaccess robots.txt

我想使用相同的robots.txt进行分段和制作,因此我想在HTTP_HOST = staging.mydomain.com时添加一个条件,以便只为机器人暂存临时环境?

这可能吗?

如果没有,.htaccess的第二个文件如robots_staging.txt并允许网络服务器进行切换的正确语法是什么?

谢谢,谢谢你的帮助!

1 个答案:

答案 0 :(得分:2)

实际上,您似乎需要的是两个robots.txt文件 - 每个域一个。然后,在.htaccess中,您将请求定向到任一文件,具体取决于它所在的域。

你可以这样做:

RewriteCond %{HTTP_HOST} staging.mydomain.com
RewriteRule ^robots\.txt robots_staging\.txt [L]
  • 生产网站上任何要求robots.txt的人都会在没有重写的情况下获取它
  • 在暂存域上要求robots.txt的任何人都会被重定向到robots_staging.txt
  • 在robots_staging.txt中,放置您喜欢的所有拒绝规则