由于此网站的robots.txt无法获得此结果的说明 - 了解详情适用于移动版本

时间:2015-06-10 18:35:50

标签: .htaccess mobile robots.txt

我创建了一个网站www.example.com。我创建了一个子网站www.m.example.com的移动版网站。我在智能手机中使用htaccess文件重定向到移动版本。我将移动网站的文件放在名为" mobile"的文件夹中。我将一个robot.txt文件放在主根文件夹中,以防止在搜索引擎结果中索引移动网址。 我的robot.txt文件是这样的。

User-agent: *
Disallow: /mobile/

我还将一个robot.txt文件放在名为mobile的文件夹中。

User-agent: *
Disallow: /

我的问题是。 在桌面版中,所有结果和片段都是正确的。 但是当我在mobil中搜索时,片段中的结果就是这样显示的。

A description for this result is not available because of this site's robots.txt – learn more

如何解决这个问题?

1 个答案:

答案 0 :(得分:1)

www.m.example.com

上使用此robots.txt
User-agent: *
Disallow: /

您禁止机器人抓取www.m.example.com上的任何资源。

如果不允许抓取机器人,则他们无法访问您的meta - description

所以一切都按预期工作。

如果您希望您的网页被抓取(并编入索引),您必须在robots.txt中允许它(或完全删除它)。

通过使用canonical链接类型,您可以表示两个(或更多)页面相同,或者它们只有微不足道的差异(例如,不同的HTML结构,表格排序不同等),或者那一个是另一个的superset 通过使用alternate链接类型,您可以表示它是基本相同内容的替代表示 (您可以在网站管理员SE上看到examples in my answer。)