如何禁用指向主域的同一根的子域的爬虫？

Question

我在其中一个网站上启动了cloudfare cdn服务， 我创建了一个direct.mydomain.com 在网站上工作时，子域可以绕过云端缓存。

我想避免对此子域进行抓取和索引，因为这会导致重复的内容。 通常我使用robots.txt文件来执行此操作，但问题是由于我的子域指向主域的同一目录，robots.txt文件对于其中两个是相同的。

我对如何做到这一点有任何想法

这是我就此问题开设的云计算支持主题 https://support.cloudflare.com/hc/en-us/requests/85756

谢谢

Answer 1

您可以使用mod_rewrite将robots.txt的所有请求转发到其他自定义文件：

RewriteEngine on
RewriteCond %{HTTP_HOST} ^direct\.mydomain\.com$ [NC]
RewriteRule ^robots\.txt$ /robots-banned.txt [NC,L]

然后在您的/robots-banned.txt文件中输入以下代码：

User-agent: *
Disallow: /