我在Google抓取的首页URL中出现反斜杠(在Firefox上显示为\,在Chrome上显示为%5C)的问题,并在网站搜索结果中显示了两个首页链接。无论如何,要摆脱URL中的反斜杠,并确保仅显示反斜杠,并且机器人仅对https://www.example.com/进行爬网吗?
我目前有以下Google索引的版本:
https://www.example.com/%5C (我找不到来源,我检查了所有链接,但没有任何链接,所以我想这是来自外部来源)
反斜杠在浏览器上显示如下:
https://www.example.com/%5C在Chrome上 和
https://www.example.com/ \在Firefox上
我在robots.txt中尝试了以下操作,但无法正常工作。
不允许:\