我有一个网站（例如：www.examplesite.com），我正在IIS中创建另一个站点作为一个单独的独立站点。第二个站点的URL将使其看起来像我的主站点：www.examplesite.com/anothersite。这是通过在我的主站点下创建指向第二个站点的虚拟目录来实现的。
我允许我的主网站（www.examplesite.com）在搜索引擎中编入索引，但我不希望我的第二个虚拟目录网站被搜索引擎看到。我可以允许我的第二个网站拥有自己的robots.txt文件，并禁止该网站的所有网页吗？或者我是否需要修改我的主站点的robots.txt文件并告诉它不允许虚拟目录？
答案 0 :(得分：1)
目录中不能有自己的robots.txt。只有“主机”可以拥有自己的robots.txt：example.com，www.example.com，sub.example.com，sub.sub.example.com，...
因此，如果您要为www.example.com/anothersite设置规则，则必须使用www.example.com/robots.txt处的robots.txt。
如果您想阻止子网站的所有页面，只需添加：
User-agent: *
Disallow: /anothersite
这将使用“anothersite”阻止开始的所有网址路径。例如。这些链接都被阻止了：
www.example.com/anothersite www.example.com/anothersite.html www.example.com/anothersitefoobar www.example.com/anothersite/foobar www.example.com/anothersite/foo/bar/ 注意：如果您的robots.txt已包含User-agent: *，则您必须在此块中添加Disallow行，而不是添加新块（机器人将停止阅读robots.txt为他们发现了一个匹配它们的块。）