当我从http重定向到https时，为什么robots.txt不起作用

Question

今天我在google中遇到了搜索问题。 当我在谷歌中键入“trakopolis”时，向我显示我的页面（因此它被谷歌机器人编入索引），但该页面的描述不可用。在我的网站上进行描述非常重要。

该网站是：

https://trakopolis.com

机器人txt文件是，所以我允许一切：

User-agent: *
Allow: /

https://www.google.com.ua/?gws_rd=cr#gs_rn=23&gs_ri=psy-ab&tok=O7cIXclKCSxtMd3uDVRVhg&cp=2&gs_id=h&xhr=t&q=trakopolis&es_nrs=true&pf=p&output=search&sclient=psy-ab&oq=tr&gs_l=&pbx=1&bav=on.2,or.r_qf.&bvm=bv.50165853,d.bGE&fp=d3f611552977418f&biw=1680&bih=949

但正如您所见，描述不可用。我很困惑:(对不起，如果问题是愚蠢的。

正如我从谷歌网站管理员工具中看到的那样。 Google使用此robots.txt文件，因此可能是从http重定向到https的问题？该网站不允许http，我们使用https。如果用户没有进行身份验证，我会在主页上使用重定向到Login.aspx页面。

Answer 1

Google在搜索“trakopolis”时显示说明：

  

您的robots.txt似乎不久前不允许抓取您的网站，因为其他一些搜索引擎仍然显示不允许他们显示您的说明e.g. DuckDuckGo。

请注意，您的robots.txt使用Allow，这不是original robots.txt specification的一部分（但许多解析器无论如何都会理解它）。它相当于：

User-agent: *
Disallow:

（但是因为解析器必须忽略未知字段，所以使用Allow应该没有问题。空的或不存在的robots.txt总是允许抓取所有内容。）