阻止搜索引擎中的一些动态页面

Question

我需要阻止搜索引擎中的一些页面。我该怎么做？ 应用程序已经使用ASP.net MVC和AngularJS开发。提前谢谢。

这些是我想要阻止搜索引擎的网址。

http://localhost:12534/myurl123-event?participant=12957

http://localhost:12534/myurl123-event

注意：网址的最后一部分是动态（即myurl123-event?participant=12957和myurl123-event）。

Answer 1

您可以使用带有禁止设置的robots.txt：

User-agent: *
Disallow: /myurl123-event

如果你想阻止一切，那么你可以使用

Disallow: /*

或者您可以将所有动态页面放在路径中（或使用控制器名称，如果您的路由是直接的控制器/方法/ ID）

Disallow: /dynamic/

Answer 2

Google首选的方法是使用规范链接：

<link rel="canonical" href="http://somedomain.com/myurl123-event" />

此标记的功能是告诉搜索引擎在包含动态查询字符串参数的这些页面上应该索引哪些URL。

在此处查看有关他们的更多信息：Google link

使用这些功能，您无需担心会不小心将网站的部分内容列入黑名单，例如使用robots.txt文件并对您的流量进行点击。