我尝试从很多网址获取内容。数据部分看起来像
avito.ru/morozovsk/avtomobili/honda_accord_1998_799656153
avito.ru/donetck/avtomobili/honda_accord_2000_829068734
avito.ru/donetck/avtomobili/honda_accord_2000_829068734
avito.ru/taganrog/avtomobili/volkswagen_passat_1997_839237476
avito.ru/volgodonsk/avtomobili/volkswagen_golf_1993_657720225
avito.ru/volgodonsk/avtomobili/volkswagen_golf_1993_657720225
avito.ru/volgodonsk/avtomobili/volkswagen_golf_1993_657720225
avito.ru/volgodonsk/avtomobili/volkswagen_golf_1993_657720225
avito.ru/taganrog/avtomobili/peugeot_206_2008_818743294
我用
url = 'https://' + url
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36'}
response = requests.get(url, headers=headers, timeout=5)
page = response.content
但是在处理过程中它会返回错误requests.exceptions.ConnectionError: ('Connection aborted.', error(10054, ''))。
我尝试使用time.sleep(10)来解决这个问题。但它没有帮助。
我应该用什么来解决这个问题？也许代理可以帮助我？