禁止没有扩展名的文件

Question

我目前正在使用htaccess

RewriteRule ^view$ view.php [L]

我链接到/view没有扩展名，它工作正常。 但是如何禁用机器人编制索引/view？在我提出的robots.txt中

Disallow: /view.php
Disallow: /view

当我进入网站管理员工具并以谷歌的形式获取时。我可以抓取mydomain.com/view，这不会发生，但是当我尝试抓取mydomain.com/view.php时，它会被robots.txt阻止，这很好。

如何阻止机器人对/view的访问？

Answer 1

该行

Disallow: /view

应阻止以下网址：

• example.com/view
• example.com/view/
• example.com/view/foobar
• example.com/view.php
• example.com/viewer

如您所见，您根本不需要Disallow: /view.php。

所以似乎有一个不同的问题。这是最近的变化吗？也许谷歌缓存了robots.txt的旧版本。我不知道这个抓取工具，但问题可能与重定向有关？我猜想Google抓取工具应该重定向到/view.php。