我对搜索引擎优化问题感到困惑，并且可以使用专家的某些方向。我们最近建立了一个网站http://www.ecovinowines.net，因为它完全是关于葡萄酒的，我们设置了一个年龄验证，要求用户在进入网站之前点击。通过使用Cookie，我们会阻止用户在点击年龄验证链接之前访问网站中的任何页面。自推出网站以来已经过了几个月，所以我想我会在google上查看一些关键字。我只需输入网站名称即可查看哪些网页会被编入索引，而且只显示年龄验证页面。从谷歌搜索结果来看，显然谷歌机器人看不到年龄验证的背后，因为他们忽略了cookie。
这没有安全的解决方法吗？我查看了New Belgium的网站，该网站使用了类似的年龄验证链接，所有网页似乎都被编入索引。从谷歌点击其中一个链接后，它会将用户重定向到年龄验证页面。他们没有使用cookies吗？或者他们如何解决cookie机器人问题。
答案 0 :(得分：1)
对Google bot的用户代理进行测试，并在匹配时允许访问。您可能也想让其他搜索引擎通过......
Googlebot / 2.1（+ http://www.google.com/bot.html）
msnbot / 1.0（+ http：//search.msn.com/msnbot.htm）
Mozilla / 5.0（兼容; Yahoo！Slurp; http://help.yahoo.com/help/us/ysearch/slurp）
Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）
ia_archiver
答案 1 :(得分：1)
Google的半官方回复：
该主题定期针对网站（酒精，色情等）提出 需要在每个页面上提供年龄验证通知。我们是什么 在这种情况下，建议通过JavaScript提供服务。用户那种方式 可以在他们尝试访问您的内容时查看年龄验证， 但是没有运行JavaScript的搜索引擎将不会看到警告和 我们将能够看到您的内容。
我认为更现代的技术是正常渲染所有内容，然后使用Javascript叠加层遮盖它。
我快速浏览了新比利时，目前尚不清楚他们在做什么。需要进一步调查。
答案 2 :(得分：0)
假设您正在使用PHP，那么这样的事情就可以完成。如果需要，您需要添加其他机器人。
$isBot = strpos($_SERVER[‘HTTP_USER_AGENT’],"Googlebot");
然后，您可以根据该变量开启或关闭年龄验证。