我在网站上经常收到以下错误:
"这是一个无效的脚本资源请求。"
当蜘蛛试图抓取 /ScriptResource.axd 或 /WebResource.axd 时会发生错误。
在robots.txt中禁止这些文件正常工作(正如TheLukeMcCarthy建议的here)。
用户代理:*
禁止:/WebSite/ScriptResource.axd
不允许: /WebSite/WebResource.axd
对于像Websense这样(粗鲁地)忽略robots.txt的服务,这不起作用。
知道如何阻止Websense尝试抓取这些文件吗?
这些网站使用ASP.NET和HTML5开发,并托管在IIS7上。
提前致谢!
答案 0 :(得分:0)
我们得到了类似的东西。我唯一的想法是在IIS中转换IP地址限制,然后阻止他们的IP。 (我没有亲自这样做,所以这只是一个想法。)