Google奇怪地抓取angularjs网站

时间:2014-02-14 04:58:26

标签: javascript angularjs google-search

我在确定Google为何抓取我的angularjs网站上不存在的链接时遇到了一些麻烦。我正在使用prerender.io,它会获取页面的快照并将其返回给搜索机器人。例如,谷歌将在搜索结果中正确列出:

www.mywebsite.co.uk/string/string2 

但随后会随机创建另一个要抓取的链接,例如:

www.mywebsite.co.uk/string/string2/string/string3 

甚至不存在!

最后,我得到了这些长网址,这些网址显示在我网站的搜索结果中,但实际上并没有显示任何有用的内容。

我认为问题是由标记库href =“/”引起的 - 因为谷歌会在页面/ string1 / string2上看到一个标题链接,然后按照当前的基础获取基本根并附加标题链接to it- ie / string1 / string2 / string1 / string2。

有没有人知道这是否是问题以及如何解决这个问题,除了放入绝对链接并从等式中移除角度?

我已经尝试删除Google网站管理员工具中的网址,但这是耗时且不可靠的,因为有这么多链接我已经在robots.txt文件中添加了不允许的链接,但它们仍然显示在google网站上有关robots.txt的消息。

这里有什么想法吗?

谢谢!

0 个答案:

没有答案