我的一个网站是针对不接受Cookie的旧手机,因此它使用基于网址的会话ID。
但是,Google正在为会话ID编制索引,因此在Google上搜索我的网站时,所有结果都会显示特定的会话ID。
在大多数情况下,该会话ID在访客点击它时不再有效,但我至少有一个案例,其中一位访客点击了Google的一个链接,并实际将其记录到其他人的帐户中,这显然是一个巨大的安全漏洞。
那么我怎样才能阻止Google在我的网址中索引会话ID?如果有帮助,会话ID在Google网站站长工具中始终设置为“代表性网址”。
答案 0 :(得分:0)
您可以通过在根网站目录中放置robots.txt文件来告知Googlebot和所有其他抓取工具不要抓取具有该属性的网址。
以下是一个例子:
假设您要阻止的URL采用以下形式:
http://www.mywebsite.com/page.html?id=1234
用于阻止具有id属性的网址的robots.txt语法为:
User-agent: *
Disallow: /*id
了解有关robots.txt的更多信息
了解详情
答案 1 :(得分:0)
看看这个,https://developers.google.com/search/docs/advanced/crawling/consolidate-duplicate-urls,您可以设置规范网址,google-bot 将使用此网址来抓取您的网页,这也可以解决同一网页的重复网址问题。