爬虫会看到什么样的PHP页面“版本”？

Question

我正在考虑使用php构建一个网站，根据浏览器和版本提供不同的HTML。想到的一个问题是，爬虫会看到哪个版本？如果每个版本的内容不同，将会发生什么情况，如何将其编入索引？

Answer 1

抓取工具会看到您显示的页面。

有关Googlebot如何识别自己的信息，请参阅this answer。另请注意，如果您向机器人显示的内容与用户看到的内容不同，则您的网页可能会从Google的搜索结果中排除。

作为旁注，在大多数情况下，实际上没有必要为不同的浏览器构建单独的HTML，因此最好重新考虑该策略，这也将解决搜索引擎索引问题。

Answer 2

抓取工具会看到您指定的页面，以便他们通过您的用户代理处理来查看。

您的想法似乎建议尝试以某种方式欺骗索引器，不要那样做。

Answer 3

您使用User-Agent HTTP标头（通常由浏览器发送）来识别您感兴趣的浏览器/版本，并发送在某些情况下会有所不同的内容。

因此，抓取工具会收到您为其特定User-Agent字符串发送的内容 - 或者，如果您没有为这些字符编写具体案例，则会收到您的默认内容。

不过，请注意，如果你发送的内容与真实用户获得的内容不同，那么谷歌并不欣赏（如果使用特定浏览器的某人向某位朋友发送了链接，那么他就不会看到他正在使用另一个浏览器的同样的事情，这不会感觉“正确”）。

_{基本上：在浏览器上发送不同的内容并不是一个好习惯;并且应该在大多数/所有情况下都应该避免}

Answer 4

这取决于您为机器人提供的内容。爬虫通常将自己标识为用户代理标头中的某个机器人或其他标识符，而不是常规浏览器。无论您为这些客户提供服务，他们都会将其作为索引。

Answer 5

抓取工具显然只能看到服务器所使用的版本。

Answer 6

• 如果您为搜索引擎创建指定版本，则会对此版本编制索引（并最终使您从索引中被禁止）。
• 如果您有默认/未检测到的浏览器版本 - 此版本。
• 如果您没有默认版本 - 则不会对任何内容编制索引。

真诚的，上校明显。

PS。假设你在谈论内容，而不是标记。搜索引擎不会对标记进行索引。