Question

我有一个robots.txt，如下所示，但谷歌仍然索引我的域名。基本上他们已经将mydomain.com编入索引但不是mydomain.com/any_page

UserAgent: *
Disallow: /

我的意思是我怎样才能回到/，而我认为这是域名的根源？

请注意，此域名是progess中的一项工作，因此我不希望谷歌或任何其他搜索引擎在一分钟内看到它。

Answer 1

如果您还没有，请获取Google Webmaster Tools帐户。它包含一个可能适合您的网址删除工具。

这并不能解决搜索引擎可能忽略或误解你的robots.txt文件的问题。

如果您真的希望自己的网站在发布之前停播，那么您最好的选择是实际将其停播。除密码外，无法访问该站点。如果你将HTTP Basic authentication放在你的纪录片上，那么搜索引擎就无法为任何内容编制索引，但你将拥有一个密码的完全访问权限。