Question

我的老板让我看看各种方法来改善我们网站的搜索引擎优化，并且我一直在做一些研究。我知道搜索引擎喜欢适合移动设备的网站，而且我使用了谷歌的网站站长工具，发现它认为我们的网站对移动设备友好。但是，我们缺少足够的robots.txt文件。

我们想要做的是避免将同一页面编入索引两次（如桌面版和移动版），并建议我在robots.txt文件中包含我们网站的移动网址。但是，这样做会损害我们网站的排名吗？我得到robots.txt下列出的文件不应该被编入索引，这引起了人们在他们的手机上搜索我们网站时是否能够看到我们网站的结果的担忧。

Answer 1

虽然我不建议为移动/常规网站提供两个不同的文件或网址，正如官方谷歌博客建议：

使用自适应网页设计的网站，即为所有网站提供服务的网站   同一组URL上的设备，每个URL提供相同的HTML   到所有设备并使用CSS来更改页面的呈现方式   在设备上。这是Google推荐的配置。

http://googlewebmastercentral.blogspot.ca/2012/06/recommendations-for-building-smartphone.html

话虽如此，因为您已经拥有移动版本，并希望阻止谷歌机器人索引同一网址的多个版本：

从桌面版网站阻止Googlebot-Mobile

Desktop site: http://www.domain.com/robots.txt

    User-agent: Googlebot
    User-agent: Slurp
    User-agent: bingbot
    Allow: /

    User-agent: Googlebot-Mobile
    User-Agent: YahooSeeker/M1A1-R2D2
    User-Agent: MSNBOT_Mobile
    Disallow: /

Mobile site: http://m.domain.com/robots.txt

    User-agent: Googlebot
    User-agent: Slurp
    User-agent: bingbot
    Disallow: /

    User-agent: Googlebot-Mobile
    User-Agent: YahooSeeker/M1A1-R2D2
    User-Agent: MSNBOT_Mobile
    Allow: /

http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088

Answer 2

Robots.txt disallows crawling, not indexing。

因此，如果您阻止移动网址，机器人将永远无法看到您拥有移动网站，这可能不是您想要的。

替代

告诉机器人链接的内容。根据此声明，机器人可以决定他们想要对这些URL做什么。

您可以通过提供alternate和canonical的链接类型来实现此目的：

alternate（已定义in the HTML5 spec），表示它是“当前文档的替代表示”。
canonical（在RFC 6596中定义），表示页面相同，或者它们只有微不足道的差异（例如，不同的HTML结构，表格排序不同等），或者一个是另一个的superset。

因此，如果您希望将桌面版网站中的网址用作规范，则可以使用"alternate canonical"从移动设备链接到桌面设备，并使用"alternate"从桌面设备链接到移动设备。您可以在my answer to the Webmasters question Linking desktop and mobile pages中看到一个示例。

我应该在robots.txt中添加移动网站网址吗？

2 个答案:

替代