如何禁止机器人访问robots.txt的多站点物理位置？

Question

如果我的.htaccess中有以下内容:(禁止机器人进入/ dir1 / dir2）

Disallow: /dir1/dir2

我的.htaccess :(访问robots.txt时，将数据从dir1 / dir2 / robots.txt中管道传输）

RewriteCond %{HTTP_HOST} ^.*domain\.com$
RewriteRule ^robots.txt$ dir1/dir2/robots.txt [NC]

“domain.com/robots.txt”仍然会被提供给机器人，而“domain.com/dir1/dir2/robots.txt”仍无法访问它吗？

Answer 1

是的，“domain.com/robots.txt”仍将提供给僵尸程序，因为僵尸程序没有在服务器中看到您的文件夹的组织，它只是看到页面网址。因此，使用此URL，它认为它位于根文件夹中，并且当您禁用“/ dir1 / dir2”并因此允许root时，它可以访问robots.txt文件。