我见过网站隐藏了robot.txt文件。
如果您输入网站名称为 的 http://www.mysite.com/robot.txt 你不会收到robot.txt，
我还想隐藏访问者的文件robot.txt怎么做？
这些行是否有连接
<meta name="ROBOTS" content="NOODP">
<meta name="Slurp" content="NOYDIR">
所以我不明白代码的含义。 谢谢！
答案 0 :(得分：1)
我不确定你究竟在问什么，但你不能用URL重写做到这一点吗？您可以使用抓取工具的用户代理字符串（例如“Googlebot”）为访问者显示robots.txt文件，然后如果它是非抓取工具UA则重定向到404