谷歌用cookie抓取

Question

我的网站内容取决于请求中的Cookie，当Google抓取工具机访问我的网站时，它不会为很多内容编制索引，因为它在每个请求中都没有特定的Cookie。

是否可以设置一些规则，当抓取工具机器人抓取我的网站时，它会使用特定的Cookie？

Answer 1

Googlebot不会故意兑现Cookie - 它必须“看到”其他人会在您的网站上看到的内容，如果您愿意，则“最小的共同点”;否则搜索结果对于未知数量的搜索者来说将毫无意义。

请谷歌搜索“Googlebot cookies”以指出有关搜索引擎的讨论和文档，它们如何工作以及它们如何工作的原因;您问题的一个解决方案可能是实施“首次访问/查看免费”规则。

Answer 2

是的，Google抓取工具的请求标头中包含“Googlebot”字样。只需检查一下，但要注意，人们可以欺骗这个以访问您网站的内容。正如curiousguys在评论中所说，这通常被使用您网站的用户所鄙视，并可能违反了Google的服务条款。