标签： indexing opencart user-agent robots.txt
我正在buydirectonline.com.au网站上工作，该网站以前一直没有问题地被抓取。所有主要搜索引擎都对其进行了索引，尖叫青蛙可以毫无问题地爬网该网站。
但是，突然，尖叫的青蛙返回403错误，并且该网站在所有主要搜索引擎上都被索引了。
我检查了明显的地方： -robots.txt -Search Console消息/问题 -htaccess文件
似乎没有任何变化，一切似乎都与网站正常爬网时的状态一样。
有人对我接下来应该尝试/研究的内容有任何想法吗？
谢谢！