谷歌索引页面落后于年龄限制表格

Question

我有一个年龄限制表，需要在用户通过之前填写。它会写一个cookie，如果用户没有填写它们，它们总会被送回用户表单。

在网站管理员工具中，它只显示为索引1页 - 是否有任何方法可以让Google抓取所有网页？

Answer 1

大多数网络抓取工具不知道如何发布表单以及存储/重新发送Cookie。您可以做的是检查http请求的用户代理字符串，如果它与googlebot's已知用户代理字符串之一匹配，则不要将其重定向回年龄表。

Answer 2

最终它正在从旧的DMOZ列表中获取元描述。

以下元标记使网站忽略DMOZ条目。