我如何阻止搜索引擎在我的网站上抓取子域？

Question

我的网站上安装了cPanel。

1. 我访问了cPanel上的“域名”部分

2. 我点击了子域名。

3. 我分配了子域名（例如：personal.mywebsite.com）

4. 它还要我分配文件根文件夹。我分配了mywebsite.com/personal

   如果我在我的网站root中创建robots.txt（例如：website.com）

   用户代理：

   禁止：/ personal /

它还可以阻止personal.mywebsite.com吗？

我该怎么办？

感谢

Answer 1

如果您想屏蔽personal.example.com上的网址，请访问http://personal.example.com/robots.txt（分别为https而不是http）。

服务器如何在后端组织文件夹并不重要，只有在访问此URL时robots.txt可用才有意义。