Question

我正在尝试用python编写经典的生产者-消费者程序。这是我引用的c代码： http://faculty.ycp.edu/~dhovemey/spring2011/cs365/lecture/lecture16.html https://web.stanford.edu/~ouster/cgi-bin/cs140-spring14/lecture.php?topic=locks

在pip install colored和pip3 install colored之后我在lubuntu 18.04上运行此程序。当以“ python3 producer-consumer.py”运行时（即使用python 3.6.7运行）该程序会在经过几次迭代后挂起

"queue is empty, stop consuming"

或在

"queue is full, stop producing"

注意：ctrl-c不会终止程序。您需要按ctrl-z，然后杀死-9％1才能杀死它。

奇怪的是：当以“ python producer-consumer.py”身份运行时（即以python 2.7.15rc1运行），它几乎可以按预期运行。但是运行了足够长的时间后，它会在以下位置引发IndexError异常

queue.append(item)

或在

item = queue.pop(0)

在此之前，它会按预期运行几分钟： 3个生产者和3个不同颜色的消费者在小容量的同一队列中工作，经常碰到空队列情况和满队列情况。

我怀疑无论我的程序是否正确， python2和python3中的不同行为似乎表明 python3（甚至还有python2）中存在一个错误条件变量的实现？还是某些bug程序实际上会预期这种差异？预先感谢。

from threading import Thread, Lock, Condition
import time
from random import random, randint
import colored
from colored import stylize

queue = []
CAPACITY = 3

qlock = Lock()
item_ok = Condition(qlock)
space_ok = Condition(qlock)

class ProducerThread(Thread):
    def run(self):
        global queue
        mycolor = self.name
        while True:
            qlock.acquire()
            if len(queue) >= CAPACITY:
                print(stylize('queue is full, stop producing', colored.fg(mycolor)))
                while space_ok.wait():
                    pass
                print(stylize('space available again, start producing', colored.fg(mycolor)))
            item = chr(ord('A')+randint(0,25))
            print(stylize('['+' '.join(queue)+'] <= '+item, colored.fg( mycolor)))
            queue.append(item)
            item_ok.notify()
            qlock.release()
            time.sleep((random()+0.2)/1.2)


class ConsumerThread(Thread):
    def run(self):
        global queue
        mycolor = self.name
        while True:
            qlock.acquire()
            if not queue:
                print(stylize('queue is empty, stop consuming', colored.fg(mycolor)))
                while item_ok.wait():
                    pass
                print(stylize('food is available, start consuming', colored.fg(mycolor)))
            item = queue.pop(0)
            print(stylize(item+' <= ['+' '.join(queue)+']', colored.fg( mycolor)))
            space_ok.notify()
            qlock.release()
            time.sleep((random()+0.2)/1.2)

ProducerThread(name='red').start()
ProducerThread(name='green').start()
ProducerThread(name='blue').start()
ConsumerThread(name='cyan').start()
ConsumerThread(name='magenta').start()
ConsumerThread(name='yellow').start()

Answer 1

主要问题是您的代码是在收到通知线程后，您不检查列表是否为空/不完整。在以下情况下这可能是一个问题：

c1和c2是使用者线程，p1是生产者线程。队列开头是空的。 c1处于唤醒状态（当前在最后一行time.sleep...中），而c2在等待通知（while item_ok.wait():行中）。

p1将一个项目添加到队列并调用item_ok.notify()
c1完成等待并获取锁
c2收到通知并尝试获取锁
c1消耗队列中的项目并释放锁
c2获取锁，并尝试从空队列中弹出

解决方案

与其在while条件下调用.wait()（这是无意义的，因为它在Python 2上总是返回None，在Python 3.2+上总是返回True，请参见{{3} }），在while循环主体中调用.wait()，并在while循环条件中输入队列是否为满/空的条件：

while not queue:
    print('queue is empty, stop consuming')
    item_ok.wait()
    print('trying again')

通过使用这种方法（上面的链接的文档中也使用了这种方法），线程在唤醒并获得锁之后检查队列是否仍然不为空/满。如果该条件不再满足（因为在它们之间执行了另一个线程），则该线程再次等待该条件。

顺便说一句，上述python 2和3之间的差异也是您的程序在两个版本上表现不同的原因。这是记录的行为，而不是实现中的错误。

生产者线程和使用者线程的固定代码（在过去30分钟内可以在我的计算机上正常运行）如下所示（我删除了颜色是因为我不想安装软件包）

class ProducerThread(Thread):
    def run(self):
        global queue
        while True:
            qlock.acquire()
            while len(queue) >= CAPACITY:
                print('queue is full, stop producing')
                space_ok.wait()
                print('trying again')
            item = chr(ord('A')+randint(0,25))
            print('['+' '.join(queue)+'] <= '+item)
            queue.append(item)
            item_ok.notify()
            qlock.release()
            time.sleep((random()+0.2)/1.2)


class ConsumerThread(Thread):
    def run(self):
        global queue
        while True:
            qlock.acquire()
            while not queue:
                print('queue is empty, stop consuming')
                item_ok.wait()
                print('trying again')
            item = queue.pop(0)
            print(item+' <= ['+' '.join(queue)+']')
            space_ok.notify()
            qlock.release()
            time.sleep((random()+0.2)/1.2)

奖金

您提到不能使用Ctrl-C（KeyboardInterrupt）退出程序。要解决此问题，可以将线程设置为“守护程序”，这意味着它们在主线程结束后立即退出。使用上面的代码，Ctrl-C可以很好地结束程序：

ProducerThread(name='red', daemon=True).start()
ProducerThread(name='green', daemon=True).start()
ProducerThread(name='blue', daemon=True).start()
ConsumerThread(name='cyan', daemon=True).start()
ConsumerThread(name='magenta', daemon=True).start()
ConsumerThread(name='yellow', daemon=True).start()

try:
    while True:
        time.sleep(1)
except KeyboardInterrupt:
    print("Exiting")

这可以解决您的问题吗？请在下面发表评论。

附加到同一锁的两个条件变量，python2和python3中的行为不同

1 个答案:

解决方案

奖金