Robots.txt排除模式

时间:2012-09-13 11:31:18

标签: seo robots.txt

我希望忽略bingbot中包含查询字符串变量at1=的所有URL,但我不清楚应该使用的模式。

其中一项是否有效?

User-agent: bingbot
Disallow: /*at1=
Disallow: *at1=*

要确认,我可以使用这样的网址:

/some-page?at1=4&ca1=5&op1=8

我仍然希望/some-page被访问,但是当列出的URL具有查询字符串参数时

修改

海报实际上已经提出了一个PHP解决方案,它可能在细粒度定位方面有意义,但我不确定发送哪个正确的HTTP状态代码来告诉蜘蛛它不受欢迎。有什么想法吗?

1 个答案:

答案 0 :(得分:1)

if ( strstr($_SERVER['HTTP_USER_AGENT'], "www.bing.com/bingbot.htm") and isset($_GET['at1']) ) :
        @header("HTTP/1.0 480 Temporarily Unavailable");
        die;
endif;