假设我有一个简单的函数,它连接到数据库(或队列),获取一个尚未访问过的URL,然后在给定的URL处获取HTML。
现在这个过程是串行的,即它一次只从一个给定的URL获取html,如何通过在一组线程中执行此操作来加快速度?
答案 0 :(得分:2)
是。许多Python线程示例都是关于这个想法的,因为它对线程很有用。
只需在“python threads url”上选择前四个Goggle点击:1,2,3,4。
基本上,I / O限制的东西是Python中线程加速的好选择;处理有限的东西通常需要不同的工具(例如多处理)。
答案 1 :(得分:0)
您可以使用以下任意方式执行此操作:
thread
模块(如果您的任务是函数)threading
模块(如果您想将任务编写为threading.Thread
的子类)multiprocessing
模块(使用与threading
类似的接口)所有这些都可以在Python标准库(2.6及更高版本)中找到,并且您也可以获得早期版本的多处理模块(它还没有与Python一起打包)。