一次性向每个URL发送请求

时间:2012-07-31 17:39:47

标签: python multithreading function urllib2 urllib

我正在尝试创建一个脚本,允许我立即向文本文件中的每个链接发送GET请求。我相信我可以通过线程来做到这一点,但也许你们有更好的建议。到目前为止,它所做的只是逐一读取每一行并逐个发送请求。

import urllib2
def send(first,last):
    with open("urls.txt", 'r') as urls:        
        for url in urls:
            url = url.rstrip("\n")            
            print url                        
            urllib2.urlopen(url+"?f_name="+first+"&last_name="+last)

if __name__ == "__main__":
    first = raw_input("First Name: ")
    last = raw_input("Last Name: ")
    flood(first, last)

2 个答案:

答案 0 :(得分:1)

查看requests的异步。它现在有自己的包,但你可以使用它。它运行geventgreenlethttps://github.com/kennethreitz/grequests

答案 1 :(得分:-1)

没关系,穿线是最好的方法,我想通了。