标签： php .htaccess search web-crawler
我想阻止谷歌和雅虎等搜索引擎抓取用户sub.domains如user.example.com，我该怎么做？
答案 0 :(得分：5)
在您的网络服务器中使用robots.txt文件。
因此，在您的子域中放置一个如下所示的robots.txt文件：
User-agent: * Disallow: /
答案 1 :(得分：0)
所有网站都有特别指定的内容，因为这是他们不希望搜索引擎抓取的内容......