robots.txt不允许使用AMP页面

时间:2017-05-30 05:53:45

标签: robots.txt amp-html

我的网站页面为(例如)# robotstxt.org User-agent: * Disallow: /auth/google Disallow: /auth/facebook

当我在https://search.google.com/search-console/amp中验证它时,它会抛出错误:

  

无法访问页面
  这可能是因为robots.txt中页面不可用或被阻止了   了解更多

我的robots.txt:

{{1}}

任何人都可以建议我帮助我的页面吗?

1 个答案:

答案 0 :(得分:0)

我认为网站:www.example.com/amp/amp-list.html需要访问被阻止的网址 谷歌渲染整个网站包括。所有externe文件,如.js,.css。
因此,搜索控制台中的错误是Google无法访问您的Auth目录 您可以在robots.txt中进行操作:

User-agent: Googlebot
Allow: /auth/google
Allow: /auth/facebook
User-agent: *
Disallow: /auth/google
Disallow: /auth/facebook

请注意,规则允许Google僵尸程序必须在拒绝规则之前。