我正在对我们的域进行一般搜索,并注意到我的开发站点出现了。如何将我的开发网站隐藏起来?我的网站是使用wordpress构建的,我现在正在调查设置,但我认为它与DNS有关,但不是100%肯定。
答案 0 :(得分:3)
您可以使用位于网站根目录中的robots.txt
文本文件,该文件告诉网络抓取工具您希望(或不希望)将其编入索引。
编辑:
当您使用WordPress时,请登录您的信息中心并导航至:设置»阅读»搜索引擎可见性,然后选择“不鼓励搜索引擎索引此网站”。
如果您计划使用开发/暂存环境,我建议您将.htpasswd
文件设置为prevent unauthorised access(包括抓取工具/漫游器)。
<强>资源:强>