我们说我的robots.txt中有用户代理列表，如
User-agent: Applebot
Disallow: something
User-agent: baiduspider
Disallow: something
User-agent: Bingbot
Disallow: something
User-agent: *
Disallow: something
机器人会以OR方式还是AND方式引用用户代理？如果Bingbot抓取此网站，Bingbot规则和*规则是否一起应用？
答案 0 :(得分：2)
根据Google，每个User-agent行开始一组新记录，并且只有一组组成员记录对特定搜寻器有效。正确的组是具有最特定用户代理的组。
因此，Bingbot应该只在User-agent: Bingbot之后阅读规则，而不是User-agent: *之后的规则。