我知道我们可以使用selenium和chrome驱动程序作为高级网站交互工具,我们可以使用Phantomjs加快速度。然后我们可以使用请求模块更快。但这就是我的知识停止的地方。
什么是python中最快的方式,有人可以发帖并获取请求?我假设有一个低级别的库而不是请求?我们使用套接字和数据包吗?
'尽快执行请求'
如果python的请求lib是最快的,那么其他编程语言中的其他库如c ++值得一看吗?
这真的取决于任务,因为网页抓1000页很好,但是当你需要请求时,它会增加1000000+。我也研究了多处理库。它使用我拥有的所有计算资源有很多帮助,但是遍历网络并等待响应是最耗时的事情。我原以为提高速度的最佳方法是发送和接收更少的数据。让我们说只接收5个输入参数,只发送5个作为回发并等待200响应。如果没有收到所有源代码我怎么能这样做呢?
谢谢!