使用.htaccess来阻止PhantomJS bot

时间:2016-10-20 23:17:30

标签: .htaccess phantomjs

我想阻止来自看似机器人或其他恶意流量的东西的流量(还没弄清楚它是什么,但我想我不想要它)。到目前为止,我一直在通过IP阻止它,但是流量不断来自不同的位置。

这种流量的共同点是用户代理是PhantomJS,它们都显示以下本地地址(可能有一些变化):

文件:///home/poo_master/price_parse/resource_cache/140578757867264tmp2.html

是否可以使用.htaccess阻止PhantomJS或任何包含“poo_master / price_parse / resource_cache /”

的内容

2 个答案:

答案 0 :(得分:2)

通过useragent或请求的URL阻止机器人/刮刀将这些重写规则添加到.htaccess:

#include <voce/voce.h>

#ifdef WIN32
#include <windows.h>  
#else
#include <unistd.h>
#endif

答案 1 :(得分:0)

使用以下代码更新.htaccess文件。希望它能奏效。

RewriteEngine on
RewriteCond $1 !^(index\.php|resources|robots\.txt)
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{HTTP_USER_AGENT} ^.*(PhantomJS|wget|HTTrack|python).*$ [OR]
RewriteCond %{REQUEST_URI} ^.*poo_master/price_parse.*$ 
RewriteRule ^(.*)$ index.php/$1 [L,QSA]