我试图在Python 3.7上使用urllib下载一堆HTML页面,然后使用Beautifulsoup解析它们。但是,文件很大,因此下载时间太长。
我只需要文档上半部分中存在的数据,因此我想知道是否有一种方法可以仅下载页面的前半部分?从我的研究中,我发现我们可以使用一种称为范围标头的东西来部分下载文件(基于字节),但这似乎仅适用于python 2的urllib2。我很难找到有关Python 3的信息。 ,这就是为什么我想要在这里。
另外,我使用的是urllib而不是requests模块,因为似乎urllib更快。如果有人可以建议一个更快的模块(也许是urllib3?),我将不胜感激!