我不希望任何搜索引擎索引我的网站，所以我把robots.txt放在根目录中;会覆盖Meta标签还是Meta标签会覆盖robots.txt文件？
提出这个问题的原因是有些页面可能有Meta标签告诉机器人索引，请关注，但是我已经将网站移动到子域名，因为我还在调整网站之前它已经调整了网站替换旧网站，我不想删除所有的Meta标签告诉机器人索引，然后当网站准备好时必须更换Meta标签告诉机器人索引，按照这样我认为机器人.txt是最快，最简单的并且不会改变网站，除了告诉机器人不要索引，如果这就是我在文本文件中的内容。
答案 0 :(得分：0)
好吧，如果robots.txt不允许抓取包含该文档的目录，那么可能他们不会访问该文档，因此没有问题。
如果HTML链接中有“follow”属性，则机器人会将这些URL排队以进行抓取，但是当它实际尝试抓取时，它会在robots.txt中看到该块而不会抓取。
简短的回答是：robots.txt会阻止行为良好的抓取工具跟踪链接，无论它在何处获得该链接，或者在找到该链接时与该链接相关联的属性。