使用python解析已经打开的网页

Question

从这个question，最后一个响应者似乎认为可以使用python打开一个网页，让我手动登录，通过一堆菜单，然后让python解析页面，当我到达我想要的地方。该网站有一个奇怪的登录程序，因此使用请求并传递用户名和密码是不够的。

然而，从这个question来看似乎不可能。

所以问题是，有可能吗？如果是这样，你知道一些示例代码吗？

Answer 1

解决此问题的方法是，当您正常登录时，旁边有开发人员工具，并查看请求发送的内容。

登录bandcamp时，正在发送的XHR请求如下：

通过该响应，您可以看到正在发送身份Cookie。这可能是他们识别您已登录的方式。因此，当您获得该cookie集时，您将被授权查看登录页面。

因此，在您的程序中，您可以使用requests正常登录，将cookie保存在变量中，然后使用requests将cookie应用于其他请求。

当然登录程序以及这种授权机制的工作原理可能有所不同，但这是它的一般要点。

那么你什么时候需要硒？如果javascript正在渲染很多东西，你需要它。 requests只能获取HTML。因此，如果使用javascript呈现菜单等，您将无法使用requests查看该信息。