Robots.txt阻止访问所有https：//页面

Question

阻止对https：//页面的任何机器人的所有访问的语法是什么？我有一个旧网站，现在没有SSL，我想阻止访问所有https：// pages

Answer 1

我不知道它是否有效，如果机器人对不同的协议使用/请求不同的robots.txt。但是，您可以通过HTTPS为请求提供不同的robots.txt。

因此，当请求http://example.com/robots.txt时，您会提供正常的robots.txt。当请求https://example.com/robots.txt时，您会发送不允许所有内容的robots.txt。