如何使用Python从搜索查询中下载所有页面？

Question

例如，对于此网址：https://www.canlii.org/en/#search/type=decision&jId=on&all=Duties%20liabilities%20officers%20directors

如何使用Python将所有3416个案例和315个立法作为html文件下载到我的本地磁盘？

Answer 1

试试这个网站可能是最好的Python下载/抓取库。

http://www.crummy.com/software/BeautifulSoup/

记录良好，广泛使用，强大，快速等等。