我一直在阅读抓取Ajax网站的Googles article。我有一个有点像Pinterest的应用程序，这意味着有一个带有无限滚动的首页。所有数据都通过Ajax加载。
当您访问网站时，例如www.mydomain.com它通过JavaScript www.mydomain.com＃！page = 1将以下内容添加到网址中。然后我可以回复_escaped_fragment_ = page = 1.
我的问题是如何告诉Google，它不应该抓取www.mydomain.com，而应该抓取www.mydomain.com＃！page = 1？
另外，如何告诉Google有更多页面，没有链接到这些页面（通过向下滚动显示它们）？
答案 0 :(得分：3)
诀窍是建立Googlebot能够关注并发现所有内容的分页。当您确定访问者启用了javascript并且您的无限滚动可以正常工作时，您可以隐藏分页。
奖励是，没有javascript的访问者可以访问您的网站。
关于SEOmoz的一些好答案： http://www.seomoz.org/q/infinite-scrolling-vs-pagination-on-an-ecommerce-site
答案 1 :(得分：0)
首先，让我们记住，为了将网页编入索引，需要Google的蜘蛛抓取它。为了让他们这样做，他们需要文本等等。然而，有许多东西会让蜘蛛远离，或者会让他们的任务变得更难：ajax就是其中之一。 Flash是另一个让蜘蛛远离的好例子。他们很难爬过它，所以他们会远离它。
因此，如果您打算获得大量搜索引擎流量，大多数人会告诉您远离ajax，就像人们会告诉您限制您在网站上使用的Flash数量一样。但我不会说你不应该使用ajax：事实上，根据你的描述，你的应用程序似乎非常整洁，我不相信你应该为这样的事情妥协你的设计。让我们自己提醒一下，有很多基于flash的网站（我提到flash很多，因为它对搜索引擎有类似的效果），但排名非常好：YouTube就是一个完美的例子。
但他们是怎么做到的？只需通过补偿谷歌不喜欢的“不友好”代码和很多内容。我可以添加保持新鲜的内容。由于所有评论都发布，YouTube始终处于最重要的位置：24/7评论，不断添加内容，并且是独特的内容。所有其他使用大量flash / ajax / etc并且排名很好的网站都会为他们做同样的事情。
所以，总而言之，我真正要说的是，如果您希望自己的网站和网页被编入索引，尽管您使用了ajax，但您需要使用尽可能多的内容进行补偿。 Google需要内容来为您编制索引。如果内容经常被了解和更新，那将是更好的选择：博客排名如此之好是有原因的。
编辑：SEOMoz，一个领先的SEO网站，也有一些关于此的文章。我所描述的是我对此的看法，但似乎有更多技术方法可以超越这个问题：http://www.seomoz.org/blog/create-crawlable-link-friendly-ajax-websites-using-pushstate