我想知道如何禁止谷歌抓取我的子域？
我制作了一张我的网站空间文件夹。 awesom media文件夹是主站点www.awesom-media.de所在的文件夹。folders
另一次是子域名。我想知道谷歌不应该抓住这个，但我不知道如何。
我在awesom媒体文件夹中没有robot.txt但是你可以在/ part中看到。而robot.txt的内容是User-agent: *
Disallow:
就是这样。
我怎么能告诉谷歌不要抓取子域名
答案 0 :(得分：0)
如果您的所有子域名都直接路由到特定文件夹（例如 automagazin.awesom-media.de 使用文件夹auto-magazin），只需将robots.txt与< / p>
User-agent: *
Disallow: /
在您要为Google禁止的子域名的所有文件夹中。我猜这些是auto-magazin和future-magazin（可能更多）。
目前您已将其放入根文件夹中，Google根本无法查看。只需尝试加载 [subdomain] .awesom-media.de / robots.txt ，看看它是否加载了robot.txt。