我的网站上有一组页面，在这些页面上，我会在加载页面时发布“主要内容”，并在加载页面后通过AJAX点击发布“相关内容”。我要做的是确保Googlebot可以通过AJAX加载内容，并遵循其中的链接，但不对请求URL编制索引。
如果我禁止robots.txt中的网址，则Googlebot将不会抓取内容。如果我在其中添加X-Robots-tag“ noindex”，则整个页面都将变为未索引状态，这不是我想要的。有解决办法吗？
答案 0 :(得分：0)
您不能要求搜寻器等待；您可以做的是预先呈现AJAX请求，因此将首先呈现内容并建立索引。在此处详细了解：https://groups.google.com/a/chromium.org/forum/#!forum/prerender
注意：它将使页面加载速度变慢。这样，您要做的就是基本上阻止页面完全加载，呈现要呈现的特定请求，然后再将内容加载到浏览器中。
这也是为什么我必须说：在前端执行此任务（相关文章）使用AJAX是错误的。您应该尝试在服务器端获取相关文章，而不是通过AJAX请求，而是通过数据库查询获取-取决于您的CMS。