建立代理连接以下载许多文件

时间:2018-06-21 13:40:11

标签: python python-requests http-proxy

我正在尝试使用python-requests从服务器下载文件。我坐在http-proxy后面。总的来说,我的代码可以正常工作,但在某些时候-对我来说,尚不清楚何时或为什么-我会收到一条错误消息:

  

ConnectionResetError(10054,'现有连接被远程主机强行关闭',无,10054,无))

我在Internet上进行了一些搜索,发现这可能是因为代理由于我连接太频繁而关闭了我的连接。可以吗?

我的代码如下:

import os
import requests
import zipfile

urlBase = 'http://server-adress.com'
# Proxy-Settings
http_proxy = "ip-adress"
auth = HTTPProxyAuth('user', 'password') # I use this because the password contains the character @
proxyDict = {
"http"  : http_proxy
}

 tempZIP = zipfile.ZipFile(path.to.a.zipfile)

for i in range(0,200)

   tempStr=urlBase + 'fileonserver_' + i

   r=requests.get(tempStr, proxies=proxyDict, auth=auth, timeout=600)
   open(tempDir+tempStr, 'wb').write(r.content)
   tempZIP.write(tempStr)
   os.remove(tempStr)

tempZip.close()

我现在在想,是否可以建立一次连接,下载所有数据然后关闭连接?

0 个答案:

没有答案