我们可以识别googlebot，就像搜索特定网址上的搜索引擎一样

Question

我的问题：

我的客户端网站显示更多产品，并增加了更多的页面加载/重量。所以我决定使用ajax更多的产品加载，它运作良好。但这里它影响了seo - 没有产品或交易被索引（即使我建议客户通过googlebase提交产品，但客户不喜欢这个想法，他希望直接谷歌爬进网站，他也希望更少的时间页面加载）。

问题： 我们是否可以识别对服务器的googlebot抓取请求或mozila，例如浏览器用户代理请求到站点（服务器）。

建议我

我尝试从请求中识别用户代理，但这不起作用（或者我可能会遗漏某些内容？）请任何人都有正确的解决方案来解决此问题，以减少使用ajax的页面加载时间并让googlebot也抓取网站。

Answer 1

您应该只搜索"Google AJAX SEO"的stackoverflow。围绕这个问题有很多问题。

简而言之，Google有一个规范可以使AJAX网站可抓取：https://developers.google.com/webmasters/ajax-crawling/docs/getting-started?hl=sv-SE

您也可以查看PushState as an SEO option。

Answer 2

用于解决此问题的一种策略是利用您正在使用的任何框架或CMS的分页功能。您加载一页内容并在视图中显示分页链接，然后使用JavaScript隐藏分页链接并通过Ajax获取链接分页页面的内容并将其附加到当前页面。看一下无限卷轴如何为灵感效果：

http://www.infinite-scroll.com/

基本上，您需要至少加载指向包含其他内容的网页的链接，以便搜索引擎可以抓取内容，但您可以为启用了JavaScript的用户隐藏这些链接。

但为了更好地回答您的问题，可以使用htaccess重定向机器人： redirect all bots using htaccess apache

但据我所知，搜索引擎优化的内容或链接是更好的，实际上可以在网页上找到。