Twitter用户代理共享

Question

当有人在某个页面推文到某个页面时，Twitter会抓取该页面以查找Twitter卡等数据，是否有人知道Twitter用户代理的用途？

Answer 1

  

Twitter在抓取网页时使用 Twitterbot 的用户代理（包括Twitterbot/1.0等版本）来查找Twitter卡标记。如果您需要创建例外，Twitter的抓取工具在扫描URL时会尊重robots.txt。

详细了解Twitter Cards URL Crawling & Caching。