是否可以阻止搜索引擎使用特定的querystring参数索引页面

Question

我正在使用asp.net DataPager并注意到搜索引擎无法抓取创建的链接，因此我添加了一个查询字符串参数，现在看到它可以抓取链接。

我现在遇到的问题是它现在最终会为同一页面添加多个网址。

是否可以阻止搜索引擎使用查询字符串参数索引所有页面，例如：

?pg=

所以搜索引擎将遵循这些链接，但不是索引：

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate?pg=3
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation?pg=6

但会索引：

http://domain.co.uk/news/07-04-2011/bank-of-england-base-rate
http://domain.co.uk/news/11-03-2011/client-feedback-from-employee-relocation

感谢您的帮助

学家

Answer 1

我很确定你可以通过robots.txt实现这一目标

使用Google，您可以使用网站管理员工具指定要排除的参数。

你也可以捕获使用者，只是当它是一个僵尸程序时崩溃页面......