我们做了很多电子邮件营销，有时开发人员会将html文件放在图像服务器上（我知道答案很简单就是不这样做）但是这些html文件最终会被Google索引并最终排名靠前搜索结果。这反过来又让SEO公司希望我们删除这些页面。是否有可能谷歌不从我们的子域索引任何东西？我们有图片。{ourUrl} .com我们放了所有这些文件。
将一个robot.txt文件放在主目录中吗？或者我们是否需要在每个目录中添加该机器人文本文件？
有没有一种简单的方法可以解决这个问题？
答案 0 :(得分：1)
robots.txt文件只会停止抓取，文件可能仍会被编入索引。一个noindex指令可以工作，你可以使用x-robots-tag。见https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag