Question

您好，我的问题是我想将机器人和抓取工具重定向到site5，并将真正的访问者重定向到site4，正如您在此架构中看到的那样

http://i.stack.imgur.com/y3oFd.jpg

我做了什么我创建了一个.htaccess文件并将其放在site1.com/folder/中：

    RewriteEngine On 
    RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
    RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
    RewriteCond %{HTTP_USER_AGENT} Slurp
    RewriteCond %{HTTP_USER_AGENT} facebookexternalhit/1.1 
    RewriteRule ^(.*)$ http://site2.com/xyz/$1 [L,R=301]

我在site2.com上做了同样的事情，重定向到site4.com

我错过了什么吗？

此致

Answer 1

首先，确保您的apache设置正常运行。

之后你可以尝试像

这样的东西

curl -A "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" http://site3.com

要测试您可以使用简单的curl来模拟google bot请求：

curl -X HEAD -i -A "Googlebot/2.1 (+http://www.googlebot.com/bot.html)" http://site3.com

或仅获取标题

{{1}}

通过.htaccess重定向机器人和爬虫

1 个答案: