以Google和Robot Txts的身份获取问题。
我有一个大问题,我无法彻底解决。所以有人可以帮忙!
我建立了一个站点https://parkingfines.org.uk,该站点完全可以正常运行,并且抓取或机械手txt都没有问题,我现在使用名为https://parkingeyeappeals.co.uk的复制器在该站点的背面进行构建
这是一个“附加”域
所有站点设置本质上都是相同的,但是对于我来说,我无法让google fetch正常工作(说不可用),说无法掌握机器人文本,也无法获取站点地图。
这是站点地图
https://www.parkingeyeappeals.co.uk/sitemap_index.xml
用户代理:* 允许:/ wp-content / uploads / 禁止:/ wp-content / plugins / 禁止:/readme.html
这是没有更改的机器人文件
该文件位于此nee网站的自己目录下(但是附加域)
我设法抓取了首页,但只有一次,BING也不会获取站点地图
机器人文本错误消息:您有一个robots.txt文件,我们目前无法提取。在这种情况下,我们将停止抓取您的网站,直到我们掌握了robots.txt,或退回到最后一个已知的有效robots.txt文件。我想知道我该怎么做才能对其进行排序,所以没有理由可以看到这种情况的发生。 Google暂时无法访问
Sitemap无法检索 可能是某种服务器问题,wordpress设置与原始站点相同,任何帮助表示赞赏
提前谢谢