标签： python python-2.7 python-requests
我正在使用Python的请求库抓取一堆网页，但有时候爬虫会偶然发现一个绝对庞大的页面，无论是PDF还是视频还是其他庞大的文件。有没有一种方法可以限制它下载的文件的最大大小？
答案 0 :(得分：2)
urlopen对象有一个方法info（），它提供了各种有用的头信息，包括Content-Length
偶尔这个设置不正确，但在大多数情况下应该会有所帮助