我试图在python中编写一个快速爬虫，但我不想用线程来做。 我读了一些文章，Scrapy是单线程，可以在响应返回之前发出请求。 我想知道是否有任何示例代码与urllib或urllib2相同并在reponse返回之前发出新请求。
提前致谢。
答案 0 :(得分：1)
Scrapy很好，但如果您正在寻找其他选择，请查看Eventlet。它基于greenthreads（aka coroutines）。他们甚至有一个简单的网络爬虫示例 - http://eventlet.net/#web-crawler-example