刮密码保护目录(使用python)

时间:2016-11-07 09:24:51

标签: python web-scraping beautifulsoup

我有一个受密码保护的目录,其中有很多文件,我试图使用Python的BeautifulSoup下载。

enter image description here

问题在于,由于它只是一个受密码保护的目录而且没有登录表单,我似乎无法像this example一样使用Mechanize?

有人建议吗?

1 个答案:

答案 0 :(得分:2)

没有必要进行屏幕自动化登录。这是使用HTTP身份验证,其中urllib2,urllib3和request(基于urllib构建的库)等HTTP库都支持。

更简单的是,您可以在URL前面加上用户名和密码,这就是HTTP库所做的工作。

https://username:password@example.com