从robots.txt文件中禁用所有搜索引擎的整个目录

Question

任何人都可以指导我如何为以下网址或目录创建robots.TXT文件：

我想在搜索引擎中做索引的原始网址：

book2park.com/
book2park.com/locations.php

但我在谷歌数据库中找到的以下网址（几乎所有网页）我想永久禁止所有搜索引擎：

lawnchair.book2park.com/
lawnchair.book2park.com/locations.php

基本上＆＃34;草坪椅＆＃34;在每个URL开始之前。

Answer 1

给定的robots.txt文件仅适用于从中加载的确切子域。换句话说，以下robots.txt文件：

http://sub1.example.com/robots.txt

只能控制抓取：

http://sub1.example.com/...

它无法控制抓取：

http://example.com/...
http://sub2.example.com/...
http://sub.sub1.example.com/...

解决方案是为每个子域添加单独的robots.txt文件。所以，在http://lawnchair.book2park.com/robots.txt你可以阻止一切：

User-agent: *
Disallow: /

并且http://book2park.com/robots.txt你可以允许一切：

User-agent: *
Disallow:

（或者您可能在主域上没有robots.txt文件）