Yandex机器人不停地访问我的网站,这导致我的express应用停止响应请求(或响应非常缓慢,页面永远加载)。
我尝试更改Yandex.Webmaster上的爬网速度,但它没有收听,我确保机器人来自[ip] .spider.yandex.com,我不想阻止Yandex Bot,而我我不确定该怎么做,我尝试过尽可能优化自己的应用,它只是使用YT API v3列出了YouTube中的视频。
当yandexbot正在浏览时,当我尝试访问我的网站时,我会从morgan获得类似控制台的输出,只有yandexbot可以访问我的网站:
GET /----ms