我有一个主页，其中包含一些链接和邮件ID，我需要停止从网页上抓取我的网址和邮件ID ... 我使用过robots.txt，但是大多数坏的爬虫都不会尊重....
答案 0 :(得分：0)
嗯，您可以随时尝试使用javascript或图片或其他内容来模糊您的网址。但请不要这样做。你只会用旧浏览器和使用屏幕阅读器的盲人激怒人们。只需使用垃圾邮件过滤器即可阻止人们发送电子邮件地址。
如果您有一个内容繁重的网站，并且您希望阻止人们抓取您的内容，您可以尝试将访问者限制为每10秒点击10次。这对大多数访问者来说已经足够了，但它会大大降低内容抓取工具的速度。您可以随时调整此算法，并禁止严重违法者的IP。
答案 1 :(得分：0)
你可以encode一些链接，例如foo@bar.com代替foo@bar.com。
答案 2 :(得分：0)
使用对真实用户隐藏的蜜罐链接。禁止robots.txt中的url并在其上添加nofollow，以便尊重引擎不会击中它。在页面加载时使用javascript隐藏链接，因此合法用户不会单击它。暂时阻止任何人点击链接的IP或会话。