标签： indexing web-crawler robots.txt
我的网站有大约300多个子域名，我需要阻止它们在搜索引擎中编制索引。 我看到了这个robots.txt代码 用户代理： * 不允许：/
但我需要为每个子域执行此操作，使用主域根目录中的单个robot.txt文件更容易实现。