我们有一台运行nginx和wordpress的服务器。已禁用访问日志以减少磁盘I / O并提高性能。我为多个特定的uri启用了自定义日志，将host date/time method和uri记录到特定文件中。对于像/phpmyadmin或/xmlrpc.php这样的uri，我会在服务器收到请求时直接禁止IP。现在，我想列出已知的搜索引擎，例如AOL.com Baidu Bingbot/MSN DuckDuckGo Googlebot Teoma Yahoo!和{{1 }}。我知道如何列出一个IP列表，但不知道如何列出一大堆蜘蛛。