为什么在某些网站上Urlopen变慢

时间:2019-08-08 12:13:44

标签: python urllib urlopen

我正在尝试从网站上阅读简单的文本。 它正在工作,但是速度是问题。

任何对该网站的请求都需要20秒钟才能得到答复。其他网站速度很快。对于浏览器或Matlab中的“相同”请求,特定网站立即做出了响应:

>>from urllib.request import urlopen
>>url = "http://live.glidernet.org/lxml.php?a=0&b=50.5&c=49.5&d=15.2&e=10&z=2" 
>>urlopen (url)

为什么urlopen在某些网站上运行缓慢?

1 个答案:

答案 0 :(得分:0)

可能是您要访问的网站托管在便宜/慢速的虚拟主机服务上。您对此无能为力。即使您在浏览器中访问它,它也会一样。

某些网站针对自动请求设置了机制来防御DDoS攻击,因此访问速度变慢(如Jammy Dodger所建议)。

如果仍然很慢,并且您需要批量访问网站,请查看“异步IO /多处理/队列”以为每个网站创建任务,然后并行打开它们。