以块的形式下载大量文件

时间:2014-09-04 17:53:43

标签: python firefox selenium selenium-webdriver download

我试图通过提供输入列表在Firefox中使用Python Selenium下载一堆(数千个)文件。我正在下载成功。

由于我想下载数千个文件,我想知道你是否可以建议一种方法来开始下载10个文件,等到它们完成并开始下一个10.我该怎么做?

我在下载完成后尝试fp.set_preference("browser.download.manager.closeWhenDone", True)关闭浏览器。但它没有关闭。

1 个答案:

答案 0 :(得分:0)

您可以使用rqCelery或任何其他制作&更容易消耗任务。

通过使用这些库,您可以开始下载前10个文件。完成这些文件后,下一个文件将立即开始自动下载。