为什么在DefaultHeadersMiddleware存在时使用UserAgentMiddleware？

Question

DefaultHeadersMiddleware可以做所有UserAgentMiddleware可以吗？那么UserAgentMiddleware的含义是什么？

Answer 1

我认为这只是出于简单的原因 用户代理是一项非常常见的更改，因此能够通过USER_AGENT设置或蜘蛛user_agent属性进行设置可能会非常有用。

例如，从命令行更改用户代理非常简单：

scrapy <command> -s USER_AGENT=something

在更改默认标题时执行相同的操作会更加复杂。