我们的网站正在接收尝试访问非现有网页的请求。通常只有拼写错误的地址。就像右边的链接是/Info/SiteMap.aspx，但错误的请求是/Inf/SiteMap.aspx，缺少'o'。通常有很多请求，例如一分钟内排20个。全部抛出404。
是一些索引机器人的问题吗？或者是否有人测试我们网站的差距？
有经验或提示吗？
答案 0 :(得分：1)
是的，请考虑以下事项。
发送请求的主机的IP地址 - 如果它们是不同但有几个IP，我们可以怀疑它是使用Zombies完成的分布式攻击。
。如果请求来自同一来源，请检查请求之间的延迟。通常，爬虫在请求之间不会使用极短的时间段。
索引机器人（Crawlers）不执行“强力”类型索引。他们只是从一个页面检索链接，并逐页递归遍历。所以原因应该不是索引机器人。
检查是否有任何模式。我的意思是顺序命名模式等。
EX：/Inf/SiteMap.aspx,/Infa/SiteMap.aspx,/Infb/SiteMap.aspx