拒绝机器人下载我的文件

时间:2010-06-27 20:53:47

标签: download bandwidth bots

我有一个asp.net下载页面,它将文件发送到客户端,但我想拒绝机器人下载此文件,因为文件很大,我可以从记录中看到机器人下载此文件大约20次。这会降低服务器速度并导致带宽消耗。

我将此页面编码为计算下载并检测客户端的.net框架,以便我可以发布包含.net框架的设置文件。

我需要以某种方式拒绝谷歌和其他机器人进入此页面。

我的下载链接类似于download.aspx?pack = msp

4 个答案:

答案 0 :(得分:8)

是的,将robots.txt文件添加到您的网站。它应该包含一系列规则(真的建议)蜘蛛应该如何表现。

查看this文章了解详情。另外,对于踢,this是Google使用的robot.txt文件。

答案 1 :(得分:4)

你想要一个robots.txt file。例如:

User-agent: *
Disallow: /download.aspx

这不会强制阻止搜索引擎,但大多数(包括Google)会检查robots.txt文件并按照其说明进行操作

答案 2 :(得分:3)

正如其他两个人所指出的,正确答案是创建一个robots.txt文件,以使行为良好的机器人无法下载内容。

但是,重要的是要知道并非所有机器人都表现良好,并且robots.txt只是建议性的。如果您的网页没有公开链接,请不要在robots.txt中列出它们以“保护”它们,因为一些特别糟糕的机器人实际扫描文件以查看可能存在哪些他们尚未了解的有趣网址

答案 3 :(得分:3)

代替robots.txt文件,您无法使用<meta name="robots" content="noindex">标记装饰您的网页。

  • 再次,正如Donnie所说,这是 只是建议机器人和 没有要求遵循它。

  • 实施一个CAPTCHA方法 提供允许的登录机制 理想的用户访问受保护的 保存最大的文件夹 文件。

  • 而不是提供直接链接 容易解析的内容 机器人,在您的下载链接上使用Javascript 来重定向您的 用户。很多机器人都不会执行 javascript,虽然bot混淆了 通常是一个移动的目标。