我有一个访问量很大的WordPress站点，位于具有大量RAM的强大的ubuntu / nginx服务器上，并且数据库位于单独的服务器上，设置了清除Web请求的清漆，以及数据库服务器上的数据库缓存
该网站运行顺畅，可同时为超过5000名用户提供服务（根据Google分析）。
问题在于我们偶尔会有搜索引擎抓取网站，同时会有大量点击。
网站继续运行，但在抓取过程中 - 无法登录后端。我们收到503错误 - 服务不可用。
我在服务器配置文件中阻止了机器人，但我们真的对索引我们网站的搜索引擎感兴趣。
怎么吃我的蛋糕呢？
由于