我们正在制作一个白标网站，不得谷歌索引。
有没有人知道检查googlebot是否会为给定网址编制索引的工具？
我已将<meta name="robots" content="noindex" />放在所有页面上，因此不应将其编入索引 - 但我宁愿通过测试确定110％。
我知道我可以使用robots.txt，但robots.txt的问题如下： 我们的mainsite应该被编入索引，它与IIS（ASP.Net）上的相同应用程序与whitelabel网站相同 - 唯一的区别是网址。
我无法修改robots.txt，具体取决于传入的网址，但我可以向代码隐藏的所有网页添加元标记。
答案 0 :(得分：4)
您应该在网站上添加Robots.txt。
但是，阻止搜索引擎索引网站的唯一完美方法是要求身份验证。 （有些蜘蛛会忽略Robots.txt）
编辑：您需要为Robots.txt添加处理程序，以根据主机标头提供不同的文件。
您需要配置IIS以通过ASP.Net发送Robots.txt请求;确切的说明取决于IIS版本。
答案 1 :(得分：3)
Google网站管理员工具（google.com/webmasters/tools）将（除了允许您上传站点地图之外）对您的网站进行测试抓取并告诉您他们抓取的内容，针对特定查询的费率以及他们将抓取的内容什么不是。
测试抓取不会自动包含在Google搜索结果中，无论如何，如果您试图隐藏Google的窥探敏感数据，您不能指望这一点：对其进行一些身份验证火线，无论如何。