它成功获取页面本身,但随后在尝试加载的页面上中断:图像,样式,字体,js文件,API调用–随便什么。每次都不同。它说资源是“暂时无法访问的”。
有时它会成功加载并呈现整个页面,而不会出现错误。
他们的文档说“暂时无法访问”表示要么服务器花费了太长时间来响应,要么取消了“由于对服务器的不同URL的连续请求过多”。
我测试的页面在1.5-2秒内完全加载完毕。太长了吗?
它发出20个请求:1个html,4个css文件(其中3个是3方字体),6个js文件,4个api调用(1个失败,这是有意的),4个字体文件,1个图像。总数据大小为2.5Mb。太多了吗?
我用他们的“ robots.txt测试器”检查了每个失败的资源-googlebot允许使用每个资源。
我在网站上什么地方都没有noindex / nofollow指令。
我提醒,有时候它会成功,就像一切正常。
所有这些,我有3个问题:
答案 0 :(得分:0)
您可能希望看到以下相关文章:
我的想法是,由于Fetch结果的随机性,失败的API调用可能会产生一些或更多的DNS或共享托管问题。有些人报告说拥有robots.txt文件时具有更好的性能(即使为空或只是User-agent:*),还有一些人发现该文件只是在其域中过度使用了抓取工具。