排除共享VPS上的一个站点

时间:2015-08-14 17:25:49

标签: server search-engine robots.txt

我有一个包含多个网站的服务器,其中我只想阻止一个网站。我知道robots.txt接受以下内容:

User-agent: *
Disallow: /

阻止漫游器抓取网站,但我读过的文章中含有含糊不清的语言。有人说这将阻止该网站,有人说服务器。

如果这是在网站的根目录中,它会仅阻止该网站吗?这样做有更好的做法吗?

0 个答案:

没有答案