网页抓取无法登录?

时间:2021-04-20 21:51:47

标签: python session web-scraping

我一直在尝试使用 python 会话请求登录网站,但确实遇到了问题。

  1. 我访问该网站并检索 cookie 以供下次请求使用 成功,
  2. 问题是有一个同意 cookie 的弹出窗口。
  3. 只有我同意我相信它才会让我登录(这是 手动程序中的行为)
  4. 我通过网络选项卡跟踪了 cookie 同意 url 请求 谷歌浏览器检查,
  5. 点击同意 cookie 按钮facebook pixelgoogle Fundingchoicesmessages url 使用多个参数调用 我不知道如何生成(至少)

网址:






编辑:

有没有人设法解决这个问题?我已经解决这个问题好几天了,

真的不想使用硒,因为它似乎接管了鼠标和键盘,我无法继续我正在做的事情我的电脑

。 有什么建议吗?


Selenium Rocks

Selenium 不会接管鼠标/键盘。它在专用浏览器窗口上流畅运行,同时您可以继续工作。


谢谢

1 个答案:

答案 0 :(得分:1)

使用硒,见下面的例子:

sudo apt-get update
sudo apt-get install chromium-chromedriver
pip3 install selenium