如何防止Google在网址中索引会话ID?

时间:2012-09-19 18:16:06

标签: url session web-crawler sessionid

我的一个网站是针对不接受Cookie的旧手机,因此它使用基于网址的会话ID。

但是,Google正在为会话ID编制索引,因此在Google上搜索我的网站时,所有结果都会显示特定的会话ID。

在大多数情况下,该会话ID在访客点击它时不再有效,但我至少有一个案例,其中一位访客点击了Google的一个链接,并实际将其记录到其他人的帐户中,这显然是一个巨大的安全漏洞。

那么我怎样才能阻止Google在我的网址中索引会话ID?如果有帮助,会话ID在Google网站站长工具中始终设置为“代表性网址”。

2 个答案:

答案 0 :(得分:0)

您可以通过在根网站目录中放置robots.txt文件来告知Googlebot和所有其他抓取工具不要抓取具有该属性的网址。

以下是一个例子:

假设您要阻止的URL采用以下形式:

http://www.mywebsite.com/page.html?id=1234

用于阻止具有id属性的网址的robots.txt语法为:

User-agent: *
Disallow: /*id

您可以在http://www.robotstxt.org

了解有关robots.txt的更多信息

http://www.seochat.com/c/a/Search-Engine-Optimization-Help/Preventing-Duplicate-Content-on-an-ECommerce-Site-from-Session-IDs/1/

了解详情

答案 1 :(得分:0)

看看这个,https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls,您可以设置规范网址,google-bot 将使用此网址来抓取您的网页,这也可以解决同一网页的重复网址问题。