由反斜杠\或%5C引起的URL复制

时间:2018-12-21 19:12:04

标签: url duplicates backslash

我在Google抓取的首页URL中出现反斜杠(在Firefox上显示为\,在Chrome上显示为%5C)的问题,并在网站搜索结果中显示了两个首页链接。无论如何,要摆脱URL中的反斜杠,并确保仅显示反斜杠,并且机器人仅对https://www.example.com/进行爬网吗?

我目前有以下Google索引的版本:

https://www.example.com/

https://www.example.com/%5C (我找不到来源,我检查了所有链接,但没有任何链接,所以我想这是来自外部来源)

反斜杠在浏览器上显示如下:

https://www.example.com/%5C在Chrome上 和

https://www.example.com/ \在Firefox上

我在robots.txt中尝试了以下操作,但无法正常工作。

不允许:\

0 个答案:

没有答案