如何避免被Python Web抓取检测到

时间:2019-07-10 05:54:55

标签: python web-scraping web-crawler

我得到了一个网页快照项目的代码:

c=requests.Session()
r=c.get(url, headers={header value})    

login_data={‘user’:username,’password’:pwd,’authenticity’:auth_code}

page=c.post(url, data=login_data, header={header value})

然后页面返回值:表明您正在尝试使用新设备登录该网站。它要求我发送确认。

我如何模仿旧的chrome登录?还是要避免此警告?

谢谢

1 个答案:

答案 0 :(得分:0)

似乎没有什么问题,您是否在标题中添加了“ User-Agent”?

headers = {
            'User-Agent': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)'
    }