如何验证我的AJAX抓取设置是否正常工作

时间:2014-07-31 19:50:19

标签: ajax dynamic web-crawler snapshot google-crawlers

我尝试使用此网址作为Google抓取     /54.86.51.30/search-space-for-rent/Houston#! 我从结果中得到了这个 enter image description here

在服务器日志中,我看到谷歌使用此网址访问了我的网站    “/54.86.51.30/search-space-for-rent/Houston”而不是    “/54.86.51.30/search-space-for-rent/Houston?_escaped_fragment _ =”

但是如果我以谷歌的形式获取这个网址/54.86.51.30/search-space-for-rent/Houston?_escaped_fragment_=,那么我会获得我的网页的HTMLsnapshot。 enter image description here

为什么我没有获取/54.86.51.30/search-space-for-rent/Houston#的HTML快照!因为它确实有“#!”最后

1 个答案:

答案 0 :(得分:1)

这是因为Google已将" fetch更改为google"在2014年5月/ 6月左右工作一段时间。你需要自己重写你的漂亮网址,就像你上面做的那样。我对谷歌放弃了这个功能感到有点失望,但是找到了一个很好的替代方法来测试我的hashbang网址,那就是Facebook debug tool