是否可以延迟谷歌爬虫一段时间或直到ajax加载?

时间:2014-04-04 17:14:41

标签: ajax seo web-crawler

这是一个很长的镜头,我怀疑这是可能的,但你们会比我更清楚。

是否可以标记页面以便谷歌不会立即拍摄快照,但会在加载事件后延迟x秒,以便我可以将我的ajax内容时间加载并编入索引? / p>

我知道我可以使用hashbang url并以这种方式发送html快照,但是如果只是延迟抓取器获取页面索引直到3秒过去或者类似的话会更容易。

2 个答案:

答案 0 :(得分:2)

查看有关如何使AJAX内容可抓取的Google教程

https://developers.google.com/webmasters/ajax-crawling/

答案 1 :(得分:1)

您必须记住,搜索引擎不会在您的网页中执行任何JavaScript代码。

正如所建议的那样谷歌已开始执行javascript代码,以便在页面中获取facebook,twitter和铁饼评论。

因此,由于谷歌的JavaScript代码执行有限,谷歌不是唯一的搜索引擎,你应该考虑其他选择。

您可以浏览一下谷歌(以及其他抓取工具)的IP地址,当来自该IP的请求时,请将其作为您网页的静态快照或网站的动态而非ajax版本。< / p>

Phantomjs是一个无头浏览器。您可以使用它来创建页面的静态快照。