Question

除了应该从机器人解析的主页（www.site.com）之外，我需要将所有网站页面隐藏到所有蜘蛛机器人中。

有谁知道我该怎么做？

Answer 1

添加到您不想索引标记<meta name="robots" content="noindex" />

的所有页面

或者您可以在文档根目录中创建robots.txt，并将其放在：

User-agent: *
Allow: /$
Disallow: /*