如何停止索引包含子文件夹

Question

我网站上的真实链接应该在google中作为（示例）索引：

  

www.mywebsite.com/title,id,sometext,sometext

意外地谷歌搜索索引我的网站与子文件夹whitch应该不会发生，例如：

  

www.mywebsite.com/include/title,id,sometext,sometext   www.mywebsite.com/img/min/title,id,sometext,sometext   等等

如何从索引中停止这些操作。我必须在htaccess或robots.txt上改变什么？帮助我，谢谢

Answer 1

您需要更新robots.txt以防止机器人浏览这些网页，您应该在这些网页上设置无索引，以便从排名中删除它们。如果可以从多个URL提供相同的页面，您可能还想探索规范链接。