Google提取问题

时间:2019-02-09 19:50:35

标签: google-chrome

以Google和Robot Txts的身份获取问题。

我有一个大问题,我无法彻底解决。所以有人可以帮忙!

我建立了一个站点https://parkingfines.org.uk,该站点完全可以正常运行,并且抓取或机械手txt都没有问题,我现在使用名为https://parkingeyeappeals.co.uk的复制器在该站点的背面进行构建

这是一个“附加”域

所有站点设置本质上都是相同的,但是对于我来说,我无法让google fetch正常工作(说不可用),说无法掌握机器人文本,也无法获取站点地图。

这是站点地图

https://www.parkingeyeappeals.co.uk/sitemap_index.xml

用户代理:* 允许:/ wp-content / uploads / 禁止:/ wp-content / plugins / 禁止:/readme.html

这是没有更改的机器人文件

该文件位于此nee网站的自己目录下(但是附加域)

我设法抓取了首页,但只有一次,BING也不会获取站点地图

机器人文本错误消息:您有一个robots.txt文件,我们目前无法提取。在这种情况下,我们将停止抓取您的网站,直到我们掌握了robots.txt,或退回到最后一个已知的有效robots.txt文件。我想知道我该怎么做才能对其进行排序,所以没有理由可以看到这种情况的发生。 Google暂时无法访问

Sitemap无法检索  可能是某种服务器问题,wordpress设置与原始站点相同,任何帮助表示赞赏

提前谢谢

0 个答案:

没有答案