用于下载图像的Python脚本会花费太多时间执行

时间:2018-07-08 09:41:34

标签: python beautifulsoup web-crawler urllib

我是Python的新手,我正在编写一些代码以从给定的URL列表下载图像。起初还不错,但是当我对代码进行一些“调整”时,与第一个版本相比,它变得非常慢,而且我不知道为什么,所以我对其进行了分析,并发现urllib。 request.urlretrive()占用了大部分执行时间:

def Descargador(Descargador_url=Request_data["url"]):

Errores_descargador = []
for H in range(0,len(Image_memory)):
        try:
            nombre = ruta +" "+str(Request_data["inicio"] + H)
            nombre += Teminacion(Image_memory[H])
            print("%d: "%(H) + nombre)
            nombre = os.path.join(ruta,nombre)
            nombre = os.path.join(ruta_CF,nombre)
            if "http" not in Image_memory[H]:
                if "file_store" in Image_memory[H] and "//media.8ch.net" not in Image_memory[H]:
                    Image_memory[H] = "//media.8ch.net" + Image_memory[H]
                    if "thumb/" in Image_memory[H]:
                        Image_memory[H] = Image_memory[H].split("/")
                        Image_memory[H].remove("thumb")
                        Image_memory[H]= "/".join(Image_memory[H])
                url = "https:"+Image_memory[H]
            else:
                url = Image_memory[H]
            urllib.request.urlretrieve(url,nombre)
        except:
            pass
            Errores_descargador.append(url)

这是我的代码,这是分析中的一些数据: am I'm doing something wrong?

0 个答案:

没有答案