我的robots.txt文件的内容实际上已编入索引并显示在Google搜索结果中。它只是谷歌，而不是雅虎
我真的认为谷歌应该理解不来索引我的机器人文件的内容，因为它只是告诉Google 不要索引的内容！
我在这里遗失了什么吗？
答案 0 :(得分：2)
这是正常的。几个月前我也被编入索引。我认为这是爬虫的一个问题。 编辑： 顺便说一句，您可以删除网站站长工具网站上的链接。
答案 1 :(得分：1)
我不建议不要使用robots.txt文件。相反，您可以使用值为noindex的X-Robots-Tag http header来阻止搜索引擎索引文件。
这样他们就可以访问您的robots.txt，但会阻止它显示在搜索结果中。
答案 2 :(得分：0)
您可以将Disallow: /robots.txt添加到robots.txt。我认为它应该避免robots.txt本身被索引。
答案 3 :(得分：0)
我认为不允许使用你自己的robots.txt文件（如果可能的话）将导致所有其他写入的命令被机器人忽略。