谷歌搜索控制台上的robots.txt错误限制了网址

Question

我正在子域上创建一个wordpress网站，我遇到了这个错误： Sitemap包含被robots.txt阻止的网址。在谷歌搜索控制台

Answer 1

robots.txt文件规范了网络机器人（通常是搜索引擎机器人）如何在其网站上抓取网页，因此，如果链接被robots.txt阻止，则应转到该文件并对其进行编辑，然后从Disallow删除链接或将其添加到Allow。

  

例如

user-agent : *

Disallow : /wp-admin/ >> 这将阻止网络爬虫爬网/wp-admin/

Allow : /wp-content/ >> 这将允许网络搜寻器搜寻/wp-content/

这里user-agent可以是任何人，即用户或网络抓取工具。

  

请参阅此处，然后尝试配置您的robots.txt on Moz.com