避免使用网站服装程序

Question

我通过互联网找到了几个程序，可以抓住你的网站并在你的电脑上下载整个网站。如何从这些程序中保护您的网站？

链接：http://www.makeuseof.com/tag/save-and-backup-websites-with-httrack/

Answer 1

您必须首先判断访客是人还是机器人。这不是一件容易的事，请参见e。 G。 ：Tell bots apart from human visitors for stats?

然后，如果您检测到它是什么机器人，您可以决定是否要将其提供给您的网站内容。合法机器人（如Googlebot）将方便地提供自己的userAgent id;恶意僵尸程序/网络爬虫可能会将自己伪装成常见的浏览器程序。

无论如何，没有100％的解决方案。

如果您的内容非常敏感，则可能需要添加验证码或用户验证。