“这是一个无效的脚本资源请求。” Websense抓取/ScriptResource.axd时出错

时间:2013-05-16 21:07:04

标签: asp.net iis-7 robots.txt web-crawler websense

我在网站上经常收到以下错误:

  

"这是一个无效的脚本资源请求。"

当蜘蛛试图抓取 /ScriptResource.axd /WebResource.axd 时会发生错误。

在robots.txt中禁止这些文件正常工作(正如TheLukeMcCarthy建议的here)。

  

用户代理:*
  禁止:/WebSite/ScriptResource.axd
  不允许:   /WebSite/WebResource.axd

对于像Websense这样(粗鲁地)忽略robots.txt的服务,这不起作用。

知道如何阻止Websense尝试抓取这些文件吗?

这些网站使用ASP.NET和HTML5开发,并托管在IIS7上。

提前致谢!

1 个答案:

答案 0 :(得分:0)

我们得到了类似的东西。我唯一的想法是在IIS中转换IP地址限制,然后阻止他们的IP。 (我没有亲自这样做,所以这只是一个想法。)