如何模拟sc​​rapy蜘蛛中的Google机器人？

Question

我想使用robots.txt抓取网站：

User-agent: Mediapartners-Google*

User-agent:googlebot  
Disallow:

我已将此行添加到settings.py：

USER_AGENT = 'googlebot'

但它不起作用，该网站仍然拒绝我的蜘蛛连接。

任何帮助？