我的网站页面为(例如)# robotstxt.org
User-agent: *
Disallow: /auth/google
Disallow: /auth/facebook
。
当我在https://search.google.com/search-console/amp中验证它时,它会抛出错误:
无法访问页面
这可能是因为robots.txt中页面不可用或被阻止了 了解更多
我的robots.txt:
{{1}}
任何人都可以建议我帮助我的页面吗?
答案 0 :(得分:0)
我认为网站:www.example.com/amp/amp-list.html需要访问被阻止的网址
谷歌渲染整个网站包括。所有externe文件,如.js,.css。
因此,搜索控制台中的错误是Google无法访问您的Auth目录
您可以在robots.txt中进行操作:
User-agent: Googlebot
Allow: /auth/google
Allow: /auth/facebook
User-agent: *
Disallow: /auth/google
Disallow: /auth/facebook
请注意,规则允许Google僵尸程序必须在拒绝规则之前。