我有一个相当新的网站，允许人们创建自己的个人资料等。问题是，当有人从他们的网站/博客链接到他们的个人资料时，他们的个人资料会显示在我的网站的谷歌搜索中 - 到目前为止，一个这样做的人有一个NSFW个人资料。这意味着，当您在Google上搜索我的网站时，其中一个最佳结果是NSFW页面。
如何阻止Google在结果中列出子页面？ robots.txt会解决这个问题吗？如果页面已经列出，那么在robots.txt中添加一个条目会禁止访问个人资料页面，最终会将其从结果中删除吗？
答案 0 :(得分：3)
robots.txt会在一定程度上解决它。如果有直接外部链接，那么我发现谷歌仍然为它们编制索引。
转到http://webmaster.google.com，声明您的网站，然后使用其网址删除工具。
答案 1 :(得分：0)
是的，请参阅http://www.robotstxt.org/。只需列出“Disallow：/ profile /”之类的内容，Google就会停止为它们编制索引，过了一段时间后，将其删除。