在Google网站站长工具中,当我以谷歌的身份获取Google'它告诉我有两个被robots.txt阻止的被阻止的资源:
https://dash.reviews.co.uk/[cut]
https://googleads.g.doubleclick.net/[cut]
但我无法在robots.txt中看到这些内容是如何阻止的,其中包含以下内容:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /tag/
Disallow: /tools/
任何线索?
答案 0 :(得分:0)
您不必担心这些资源被阻止,因为这些资源位于您无法控制且被robots.txt文件阻止的域中。
Google网站管理员工具向您显示,对于您获取的网页,它无法查看所有相当常见的资源。谷歌和许多大型网站robots.txt的资源很多。 (DoubleClick是Google拥有的财产)
只要您在“获取并呈现”时可以看到整个内容,就可以保持良好状态。