Question

我想在python中使用线程来下载大量网页，并通过以下代码在网站中使用队列。

它放置了一个无限循环。每个线程是否连续运行，结束直到所有线程完成？我错过了什么。

#!/usr/bin/env python
import Queue
import threading
import urllib2
import time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

queue = Queue.Queue()

class ThreadUrl(threading.Thread):
  """Threaded Url Grab"""
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self.queue = queue

  def run(self):
    while True:
      #grabs host from queue
      host = self.queue.get()

      #grabs urls of hosts and prints first 1024 bytes of page
      url = urllib2.urlopen(host)
      print url.read(1024)

      #signals to queue job is done
      self.queue.task_done()

start = time.time()
def main():

  #spawn a pool of threads, and pass them queue instance 
  for i in range(5):
    t = ThreadUrl(queue)
    t.setDaemon(True)
    t.start()

  #populate queue with data   
  for host in hosts:
    queue.put(host)

  #wait on the queue until everything has been processed     
  queue.join()

main()
print "Elapsed Time: %s" % (time.time() - start)

Answer 1

将线程设置为daemon个线程会导致它们在main完成后退出。但是，是的，你是正确的，因为你的线程会持续运行，只要queue中有某些东西它会阻塞。

文档解释了此详细信息Queue docs

python Threading文档也解释了daemon部分。

当没有剩下活着的非守护程序线程时，整个Python程序退出。

因此，当队列清空并且解释器退出线程时queue.join恢复时，线程将会死亡。

编辑：更正Queue

的默认行为

Answer 2

你的脚本对我来说很好，所以我假设你在询问发生了什么，这样你就能更好地理解它。是的，你的子类将每个线程放在一个无限循环中，等待放入队列中的东西。当发现某些东西时，它会抓住它并做它的事情。然后，关键部分，它通过queue.task_done通知队列它已完成，并继续等待队列中的另一个项目。

当所有这一切都在工作线程上进行时，主线程正在等待（加入），直到队列中的所有任务完成，这将是线程发送queue.task_done标志的次数相同的次数作为队列中的消息。此时主线程完成并退出。由于这些是deamon线程，它们也会关闭。

这是很酷的东西，线程和队列。这是Python真正优秀的部分之一。你会听到各种关于Python中的线程如何与GIL搞砸的东西。但是如果你知道在哪里使用它们（比如在这种情况下使用网络I / O），它们将真正为你加速。一般规则是，如果您是I / O绑定，请尝试并测试线程;如果你是cpu绑定，线程可能不是一个好主意，也许尝试过程。

祝你好运，

麦克

Answer 3

在这种情况下，我不认为Queue是必要的。仅使用Thread：

import threading, urllib2, time

hosts = ["http://yahoo.com", "http://google.com", "http://amazon.com",
"http://ibm.com", "http://apple.com"]

class ThreadUrl(threading.Thread):
    """Threaded Url Grab"""
    def __init__(self, host):
        threading.Thread.__init__(self)
        self.host = host

    def run(self):
        #grabs urls of hosts and prints first 1024 bytes of page
        url = urllib2.urlopen(self.host)
        print url.read(1024)

start = time.time()
def main():
    #spawn a pool of threads
    for i in range(len(hosts)):
        t = ThreadUrl(hosts[i])
        t.start()

main()
print "Elapsed Time: %s" % (time.time() - start)

使用队列在python中进行线程化

3 个答案: