重定向到https后，http站点的Google robots.txt

Question

Google Robots.txt Specification表示机器人txt网址http://example.com/robots.txt对域https://example.com无效。大概相反，它也是如此。

在请求robots.txt时，还有关于重定向的说法：

  

3xx（重定向）

     

通常会遵循重定向，直到找到有效结果（或识别循环）。我们将遵循有限数量的重定向跃点（HTTP / 1.0的RFC 1945允许最多5个跃点），然后停止并将其视为404.对robots.txt重定向到不允许的URL的处理是未定义的，不鼓励使用。根据返回2xx（帧，JavaScript或元刷新类型重定向）的HTML内容处理robots.txt文件的逻辑重定向是不明确的，不鼓励。

假设我设置了一个网站，以便http上的所有请求都永久重定向到等效的https。 Google会请求http://example.com/robots.txt并按照重定向到https://example.com/robots.txt。此文件是否为http网站的有效robots.txt，因为这是原始请求，或者Google认为http网站没有有效的robots.txt？

Answer 1

使用Google Search Console中的robots.txt测试工具确认重定向的robots.txt用作http（原始）域的漫游器文件。

Barry Hunter在网站管理员中心论坛上提供的答案： https://productforums.google.com/forum/#!topic/webmasters/LLDVaso5QP8