'PageJacking'的解决方案是什么？

Question

'PageJacking'正在创建一个对'WebCrawlers'看起来不错的网站，对于普通用户，我将展示广告/促销内容。只是一个网站假装Good Boy为'Webcrawler'，而不是用户。

维基：http://en.wikipedia.org/wiki/Pagejacking

抓取工具如何避免伪造网站（PageJacking）？

Answer 1

User agent spoofing

搜索引擎可以发送两个机器人：

• 具有真正User-Agent HTTP标头的机器人（将自己显示为搜索引擎机器人）
• 带有典型浏览器User-Agent HTTP标头的机器人（模仿人类访问者）

现在搜索引擎可以比较这两个机器人得到的结果。