Question

我一直在研究减少客户网站上重复内容的各种方法。

我遇到的一种方法是使用一些代码来检查客户端是否是某个机器人。使用此信息，可以选择是否向客户端显示信息。

这种方法因任何原因与Google一起使用会有危险吗？

以下是代码（PHP），供参考：

if(strstr(strtolower($_SERVER['HTTP_USER_AGENT']), "googlebot"))

Answer 1

请解释“危险”的含义。

如果您的意图是AFAIK，则不允许您阻止网络抓取工具通过您的网站，但您可以使用“robots.txt”而不是PHP实现轻松完成此操作。

但是，如果“危险”是指安全漏洞，那么当然整个协议都是用户代理欺骗，所以我不建议说放弃比你想要的更多的数据只是基于什么用户代理请求隐藏在后面因为可以伪造。