如何同时从保存在json文件中的URL下载文件?

时间:2017-03-17 06:31:40

标签: multithreading python-3.x

我是python开发的新手,目前正在做一个关于url报废的项目。我的项目抓了一个提供apk文件的网站。我能够顺序地抓取并下载apk文件,这需要相当多的时间,因为每个应用程序大小约为30MB。

这是我目前正在运行的代码:

filename = sys.argv[1]
with open(filename) as appsFile:
    apps = json.load(appsFile)

for app in apps:
    if(apps[app]['download?'] == 'Y'):
        apk_download(apps[app]['package'], apps[app]['download_link'])

这就是我的JSON文件的样子:

{
    "app name": {
        "download_link": "download link here",
        "package": "app name here",
        "download?": "a Y or N here",
        "version": "downloaded app version here"
},...

apk_download()函数是单独定义的。

我想要做的是能够同时下载至少3个文件。我怎样才能在上面的代码中实现这一点?或者我需要尝试的其他方法?我正在使用python3。

0 个答案:

没有答案