当网站需要authenticasion时如何使用python获取html?

时间:2017-07-31 01:51:18

标签: python authentication login web-crawler lxml

如果不需要身份验证,我可以使用lxml模块获取网站的html。但是,如果需要,我该如何输入用户名'和密码'使用python?

1 个答案:

答案 0 :(得分:0)

这在很大程度上取决于所使用的身份验证方法。如果是HTTP Basic Auth,那么您应该能够将这些标头与请求一起传递。如果它使用基于网页的登录,您需要自动执行该请求并传回cookie或用于下一个请求的任何会话令牌。