如果我转到http://boxinsider.cratejoy.com/feed/,我可以很好地看到XML。但是当我尝试使用python请求访问它时,我收到403错误。
blog_url = 'http://boxinsider.cratejoy.com/feed/'
headers = {'Accepts': 'text/html,application/xml'}
blog_request = requests.get(blog_url, timeout=10, headers=headers)
关于为什么的任何想法?
答案 0 :(得分:2)
因为它由WPEngine托管并且他们过滤用户代理。
试试这个:
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36"
requests.get('http://boxinsider.cratejoy.com/feed/', headers={'User-agent': USER_AGENT})