我正在使用Concrete5作为我的网站的CMS。我收到了来自Google搜索控制台的消息，内容为“当我们测试了站点地图中的URL样本时，我们发现该站点的robots.txt文件阻止了对某些URL的访问。如果您不打算阻止某些URL，对于站点地图中包含的URL，请使用我们的robots.txt分析工具来验证Googlebot是否可以访问您在站点地图中提交的URL。所有可访问的URL仍将提交。” 当我调查站点地图时，我的网站域/ sitemap.xml发现所有内容都包含管理链接，而不是该用户网站页面的URL。 我从自动化作业中生成了一个新的站点地图，并清除了缓存，但问题仍然存在。 我正在使用CDN生成网址，有什么我可以解决的问题吗？
答案 0 :(得分：0)
您所描述的确实很奇怪。 首先Concrete5不会生成robots.txt文件。但是，它确实使用相关属性向页面添加了带有noindex的漫游器元标记。 默认安装还附带了robots.txt文件，该文件不允许“应用程序”文件夹中的特定文件夹，因此与页面无关。
最后，生成站点地图的作业将从站点地图中排除所有系统页面和所有仪表板页面。
您能否在站点地图中共享一些指向管理页面的行，以查看发生了什么事？