我可以在使用htaccess处理我的网站时使用robots.txt

Question

我在我的网站中使用htaccess，这样我对网站的所有请求都会被重定向到我的根目录中的索引页面。我的网站中没有其他文件可以访问，因为我的htaccess会限制它。我怀疑的是，当我使用robots.txt文件时，搜索引擎是否能够访问我的域中的robots.txt文件？或者我必须修改我的htaccess文件以允许搜索引擎读取robots.txt文件。如果是这样帮助我找到htaccess的特定代码。

Answer 1

我想你正在使用某种重写。您可以使用以下规则排除mod_rewrite处理的文件：

RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^(.*) $1 [L]

在这种情况下，webroot中存在并且直接调用的所有文件将不再被处理。用robots.txt替换_％{REQUEST_FILENAME}，你应该没问题。

祝你好运，
费边

Answer 2

如果您可以通过网络浏览器访问robots.txt，那该怎么办？如果可以，那么搜索引擎可以，反之亦然（除非您使用某些IP或浏览器特定的重定向等）。也就是说，http://yoursite.com/robots.txt