如何避免被Google抓取/处罚

Question

概览

我想使用真实域名在生产服务器上使用随机数据测试一些Django网站，但这些网站将是可能重复数据的简单测试（很可能不遵循Google规则）。我知道通常你会为这样的任务使用开发/暂存/虚拟盒，但我确实想直接使用真实DNS的生产盒。

现在，我对网站开发和搜索引擎优化有了新的认识，我不想搞乱搜索引擎优化和谷歌。

在这里进行的正确方法是什么？我应该尽量避免被Google索引/抓取吗？还有其他任何建议吗？

Answer 1

您可以禁止对网页进行完整索引，稍后（当您完成编码时）再次激活它。

这可能是最好的方式，因为谷歌不会抓取“坏页面”（例如当你的网站仍处于开发状态时），因此到目前为止你不会获得排名（如果你想看它，你会被称为网页排名）向上）。