我有一个包含许多网站的服务器， 当一些网站有大量更新时，搜索引擎就像：
使用许多IP地址来到服务器，他们不关注CPU负载和MySQL查询，并尝试在同一时间获取网页，
那么如何为整个服务器限制它们
目前我阻止了这些搜索引擎IP 谢谢
答案 0 :(得分：0)
您必须创建一个robots.txt，以便搜索引擎读取它并知道不允许索引（抓取）您在其上指定的任何内容。
例如，对于bing，这是一个指南：https://www.bing.com/webmaster/help/how-to-create-a-robots-txt-file-cb7c31ec