登录后我正在查看facebook中的html代码，他们似乎对JS文件做了很多请求（根据firebug最多20个）。 我在这里发现了this question这几乎总结了我最初想知道的内容，但现在这个问题相当陈旧，它链接到的博客文章是从2010年开始的，而facebook似乎并不关心SEO。
所以，虽然我知道facebook需要加载许多JS和CSS文件（而不是一个JS和一个CSS文件），但我的问题是针对更多通用网站和网络抓取工具的状态。 我们是否应该担心这些技术（通过ajax加载主要内容）会影响网络抓取工具（googlebot和朋友）？
我希望提高性能并加载“for-it-for-later”内容（text / js / css）似乎是一个好主意，但如果它不能用于抓取工具（当然内容）
谢谢！
答案 0 :(得分：0)
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=81766
googlebot并且大多数搜索引擎抓取工具都不会执行javascript代码，这是因为加载javascript和css意味着页面渲染会导致热效果并且没有蜘蛛可以使用它。虽然Googlebot非常了解HTML链接的结构，但它很难找到使用JavaScript进行导航的网站。我们正在努力更好地理解JavaScript，但是创建可由Google和其他搜索引擎抓取的网站的最佳选择是为您的内容提供HTML链接。
但是，蜘蛛可以查看js代码以检查特定模式（例如正在使用黑帽技术）。
最好（但很难）的解决方案是为无法执行javascript（主页内容必须可用）的代理提供基本内容，并为现代浏览器提供具有更多功能的优化代理