我正在开发一个网站。我使用了很多示例占位符文本以及虚拟图像。我想确保Google在我还处于开发阶段时不对我的网页编制索引。
是否有任何代码可以添加到我的网页中以确保搜索引擎此时不会为我的网站编制索引？
答案 0 :(得分：5)
理想情况下，您不应该首先在公共场合开发网站！
但您可以像这样编辑robots.txt：
User-agent: *
Disallow: /
答案 1 :(得分：2)
如果你必须在线开发...;）有两种简单的方法可以做到这一点。
创建robots.txt文件（http://www.robotstxt.org/
仅使用htaccess进行密码访问（http://en.wikipedia.org/wiki/.htaccess）
答案 2 :(得分：1)
答案 3 :(得分：1)
尝试使用robots.txt。但要注意它is not a security measure。一些机器人将完全ignore it。
robots.txt上的一些history。
正如其他人所说，你真的不应该公开发展你的网站。更好的解决方案是在不面向互联网的本地计算机上开发，或限制访问正在开发的站点部分。
答案 4 :(得分：0)
在您网站的根目录中创建一个名为“robots.txt”的文件，并在其中放置：
Disallow: /
上传它。 Google会关注您的robots.txt文件，但并非所有抓取工具都会关注它。
答案 5 :(得分：0)
答案 6 :(得分：0)
您可以在类似的问题中找到您的问题的建议：
基本上，您可以使用robots.txt，为开发网站上的所有网址创建私人文件夹或Return 403（使用HTTP身份验证）。
答案 7 :(得分：-1)
你可以做的并不多，但是“正在建设中”页面有帮助。
答案 8 :(得分：-1)
添加元标记<meta name="robots" content="noindex">，请参阅Google support