我想知道是否有任何技术可以识别收集非法使用信息的网络抓取工具。简单来说，数据被盗可以创建一个网站的碳副本。
理想情况下，此系统会检测来自未知来源的抓取模式（如果不在列表中使用Google抓取工具等），并向抓取抓取工具发送虚假信息。
这就是我迷路的地方 - 如果攻击者随机区分和代理，我将如何不区分代理和机器从同一地点攻击网站网络？
我正在考虑使用javascript和cookie支持来检查可疑代理。如果柏忌无法做到一致，那么这就是坏人。
我还能做什么？是否有任何算法，甚至是为快速实时分析历史数据而设计的系统？
答案 0 :(得分：9)
我的解决方案是制造一个陷阱。在您的网站上放置一些robots.txt禁止访问的网页。在你的页面上建立一个链接，但用CSS隐藏它，然后ip禁止任何访问该页面的人。
这将迫使罪犯服从robots.txt，这意味着你可以永久地将重要信息或服务放在他身边，这将使他的碳复制克隆无用。
答案 1 :(得分：2)
不要尝试通过IP和时间或间隔识别 - 使用您发送给爬虫的数据来跟踪它们。
创建已知良好抓取工具的白名单 - 您可以正常为他们提供内容。对于其他内容，请为页面提供额外的独特内容，只有您知道如何查找。使用该签名以便稍后识别谁在复制您的内容并阻止他们。
答案 2 :(得分：2)
您如何阻止某人在低工资的国家雇佣某人使用浏览器访问您的网站并记录所有信息？设置robots.txt文件，投资安全基础设施以防止DoS攻击，混淆您的代码（如果可访问，如javascript），为您的发明申请专利，以及对您的网站进行版权保护。让合法的人担心会有人扯你。