标签: server search-engine robots.txt
我有一个包含多个网站的服务器,其中我只想阻止一个网站。我知道robots.txt接受以下内容:
User-agent: * Disallow: /
阻止漫游器抓取网站,但我读过的文章中含有含糊不清的语言。有人说这将阻止该网站,有人说服务器。
如果这是在网站的根目录中,它会仅阻止该网站吗?这样做有更好的做法吗?