我有一个子域名，例如blog.example.com，我希望此域名不会被Google或任何其他搜索引擎编入索引。我把我的robots.txt文件放在＆＃39;博客＆＃39;具有以下配置的服务器中的文件夹：
User-agent: *
Disallow: /
没有谷歌索引可以吗？
在我的网站前几天：blog.example.com显示931个链接，但现在显示1320个页面。我想知道我的robots.txt文件是否正确，以及Google为何将我的域编入索引。
如果我做错了什么，请纠正我。
答案 0 :(得分：1)
的Rahul，
不确定您的robots.txt是否逐字，但通常指令是两行：
User-agent: *
Disallow: /
此文件必须可以从http://blog.example.com/robots.txt访问 - 如果无法从该网址访问，搜索引擎蜘蛛就无法找到它。
如果您的网页已被Google编入索引，您还可以尝试使用Google网站管理员工具手动删除索引中的网页。