robots.txt的重写器

Question

我有一个像domain.com/view/nextdomain.com的网站，我有机器人试图访问domain.com/view/nextdomain.com/robots.txt，我希望所有机器人都能访问domain.com /robots.txt而不是。

我不知道为什么这个不起作用：

RewriteEngine on    
RewriteRule ^view/(.*)$/robots.txt robots.txt

Answer 1

您只想访问主域名Robots.txt 删除子文件夹robots.txt并将子文件夹domain.com/view/nextdomain.com/robots.txt的所有规则移至main domain.com/robots.txt

移动规则后更新那些规则 例如： -

domain.com/view/nextdomain.com/robots.txt有rul

Disallow: /admin/

然后更新代码

Disallow: domain.com/view/nextdomain.com/admin/