我有一个Drupal站点,它使用Domain Access模块从一个Drupal安装中托管多个站点,因此该站点只有1个htaccess文件和一个robots.txt文件。
我不希望搜索引擎抓取一些子网站。根据我对robots.txt的理解,它不能用于此类事情,所以我希望阻止搜索引擎机器人,如果他们试图访问我服务器上的特定域。
我发现这个htaccess片段用于阻止僵尸程序,但是如何添加逻辑以使其仅在访问特定域时运行?
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]
答案 0 :(得分:3)
您可以在此规则中再添加一个RewriteCond
,以便仅在请求中的HOST_NAME
为sub.domain.com
时才会屏蔽:
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteCond %{HTTP_HOST} ^sub\.domain\.com$ [NC]
RewriteRule ^ - [F]