robots.txt删除整个子域/目录

时间:2012-08-25 02:14:13

标签: robots.txt

我有子域forums.example.com

在public_html / forums

如果我在public_html / forums中放入以下robots.txt会从索引中删除所有论坛吗? (我将论坛迁移到其他提供商,并希望从google索引中删除所有论坛页面)

User-agent: *
Disallow: /

1 个答案:

答案 0 :(得分:2)

User-agent: *
Disallow: /forums/

如果您没有将文件夹名称设置为“论坛”,那么您将完全从Google /蜘蛛机器人中删除该网络托管服务器中的所有内容。