为了节省空间，robots.txt中有200多个用户代理，我将用户代理分组。我的问题不是天气，不是用户代理会尊重指令，而是天气还是不是所有用户代理会理解这种更短，更优雅的方式编写robots.txt（为方便起见，PS将该列表从200多个bot缩短到了10个，以使问题更加突出。）
# ALLOW
User-agent: bingbot
User-agent: Googlebot
User-agent: Baiduspider
User-agent: DuckDuckBot
User-agent: Pinterest
Allow: /
Sitemap: https://www.website.org/sitemap.xml
# DISALLOW
User-agent: UbiCrawler
User-agent: Zealbot
User-agent: SiteSnagger
User-agent: WebStripper
User-agent: WebCopier
disallow: /