301重定向到除robots.txt之外的所有内容

Question

我们已将网站迁移到新域名，并希望从搜索引擎中移除旧网站的所有网页。这是相同的网站，相同的内容，只是一个新的域名，因此搜索引擎需要时间，因为重复的内容（也许）。我们已将旧网站上的.htaccess 301添加到新网站：

redirect 301 / http://new-domain.com/

现在，要从搜索引擎中删除旧网站，我们将旧网站上的robots.txt更改为：

User-agent: *
Disallow: /

问题是，由于.htaccess 301重定向，搜索引擎从new-domain.com获取robots.txt。

如何限制301重定向robots.txt？

Answer 1

删除Redirect指令并尝试此mod_rewrite规则：

RewriteEngine on
RewriteRule !^robots\.txt$ http://other.example.com%{REQUEST_URI} [L,R=301]

这将重定向除/robots.txt以外的任何请求。

Answer 2

我正在尝试不同的配置并花费数小时，最后我发现这个代码运行良好并希望得到理想的结果 这是禁止搜索引擎的代码。

User-agent: *
Disallow: /