我正在制作一个网站,其上会有很多用户创建的内容。每个用户贡献都可以通过URL访问,例如: http://example.com/3234 http://example.com/6455
我计划使用Google的站点地图抓取工具,以便可以对这些网页编制索引。我会每天生成sitemap.xml文件。
问题是在浏览器检索页面后,页面的内容是使用jquery和ajax动态生成的。因此Google可能不会在列出的网址中看到页面中的任何实际内容。
我在这里读到了这个问题: https://developers.google.com/webmasters/ajax-crawling/docs/html-snapshot 它建议制作一个html快照。所以我有几个选择。各自的优点和缺点是什么?还是有更好的选择?
选项1 添加指向sitemap.xml的链接,例如http://example.com/content.php?id=3234 这会将页面内容以html格式输出到谷歌。但是当浏览器转到此页面时(客户端)重定向会将它们带到http://example.com/3234
选项2 在服务器上。尝试检测爬网程序是否正在访问该页面,并确定要返回的内容。
选项3 尝试将实际内容加载到服务器上的元素中。 (需要重新设计)