我在确定Google为何抓取我的angularjs网站上不存在的链接时遇到了一些麻烦。我正在使用prerender.io,它会获取页面的快照并将其返回给搜索机器人。例如,谷歌将在搜索结果中正确列出:
www.mywebsite.co.uk/string/string2
但随后会随机创建另一个要抓取的链接,例如:
www.mywebsite.co.uk/string/string2/string/string3
甚至不存在!
最后,我得到了这些长网址,这些网址显示在我网站的搜索结果中,但实际上并没有显示任何有用的内容。
我认为问题是由标记库href =“/”引起的 - 因为谷歌会在页面/ string1 / string2上看到一个标题链接,然后按照当前的基础获取基本根并附加标题链接to it- ie / string1 / string2 / string1 / string2。
有没有人知道这是否是问题以及如何解决这个问题,除了放入绝对链接并从等式中移除角度?
我已经尝试删除Google网站管理员工具中的网址,但这是耗时且不可靠的,因为有这么多链接我已经在robots.txt文件中添加了不允许的链接,但它们仍然显示在google网站上有关robots.txt的消息。
这里有什么想法吗?
谢谢!