如何在Apache下阻止我的网站上的mp3抓取工具?

时间:2008-09-17 08:50:47

标签: apache bandwidth

是否有某种方法可以使用.htaccess文件或类似文件阻止来自引荐来源的访问?我的带宽被http://www.dizzler.com引用的人所吸引,这是一个基于Flash的网站,允许您浏览已抓取的公共可用mp3库。

编辑: Dizzler仍然进入(可能并非在所有情况下都指示了引荐来源),所以我将所有的mp3移动到新文件夹,禁用目录浏览,并创建了robots.txt文件(希望)不再被索引。接受的答案改为反映我之前尝试的徒劳无益:P

4 个答案:

答案 0 :(得分:3)

这就像是说你想阻止垃圾邮件机器人在公开可见的页面上收集电子邮件 - 很难在不强迫观众登录以确认其身份的情况下区分用户和机器人之间的区别。

您可以使用robots.txt禁止实际遵循这些规则的蜘蛛,但这是他们的一方,而不是您的服务器。有一个页面解释了如何捕捉破坏规则并明确禁止它们的那些:Using Apache to stop bad robots [evolt.org]

如果您想要一种简单的方法来停止使用.htaccess,尤其是使用.htaccess,您应该可以将其弹出并添加:

<Directory /directoryName/subDirectory>
Order Allow,Deny
Allow from all
Deny from 66.232.150.219
</Directory>

答案 1 :(得分:2)

this site :(把它放在.htaccess文件中)

RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://((www\.)?dizzler\.com [NC]
RewriteRule .* - [F]

答案 2 :(得分:2)

您可以使用类似

的内容
SetEnvIfNoCase Referer dizzler.com spammer=yes

Order allow,deny
allow from all
deny from env=spammer

来源:http://codex.wordpress.org/Combating_Comment_Spam/Denying_Access

答案 3 :(得分:0)

这不是一个非常优雅的解决方案,但您可以阻止该网站的抓取机器人,然后重命名您的mp3文件以打破网站上已有的链接。