我的托管公司混淆并试图限制他们阻止所有搜索代理,包括google与robots.txt。我发现它后,我将robots.txt内容更改为允许:/等待一周时间谷歌查看更改但没有任何内容..比我完全删除robots.txt文件仍然可以看到此错误:
这样做的结果是我的网站每天进行了1000-1200次访问 - 现在降到了200 ..请帮助解决这个问题。如何唤醒google,没有什么能阻止他浏览网站?现在被阻止的所有5000个网址是否可能已从谷歌索引中删除?
答案 0 :(得分:0)
您需要做的是创建robots.txt,以便将整个网站编入索引,将其上传到root,然后转到网站站长工具 - >抓取 - >取用Google并点击红色按钮说" FETCH"
等待几秒钟或只刷新页面,然后点击"提交到索引"并选择" URL和所有链接的页面"
如果有帮助,请告诉我,我很确定它会有所帮助