总的来说,我对使用请求和网络技术有点陌生,所以我什至不确定我想要的东西是不可能的,还是非常容易。但我在任何地方都找不到。
我正在使用 requests 和 bs4 来抓取网站供我个人使用。我不想要整个网站,它更像是我编写的自动化任务,目的是让我自己的生活更轻松。它已经运行了将近一年,直到该网站使用 Cloudflare 版本 2 验证码挑战来阻止我的请求。
现在我尝试使用浏览器的 cookie 和标头来欺骗网站,使其认为我正在使用网络浏览器来浏览它,但没有奏效。我不确定我是否在请求中正确使用了 cookiejar。
我也使用了 cloudcraper 模块来绕过这个,但它说免费版本在 Canflares V2 Captcha 挑战中不起作用。我什至找不到付费版本,而且 github 页面已经快 2 年没有看到任何活动了。
但我认为亲自解决验证码挑战对我来说会更好。这样,如果它改变了挑战并使我的代码变得更难,我的代码仍然可以工作。 现在我想知道一个人会怎么做这样的事情?
我的确切问题是,我可以使用python中的请求模块来获取网页,将其发送到我的浏览器让我查看并输入一些内容,然后使用另一种请求方法发送我的响应吗?如果是这样,我该怎么做?